【核心提要】
【正文报道】
近期,多位安全专家发出警告,人工智能(AI)技术的快速演进可能给全球核威慑体系带来前所未有的风险。专家指出,若AI系统介入或干扰核指挥网络,或者发起大规模军事网络攻击,华盛顿与北京在判断对方是否发动攻击时,可能仅有几分钟的决策窗口。为此,相关专家呼吁两国政府必须针对此类极端情境做好准备,并采取具体措施:包括为核系统设定明确的“红线”、确保关键环节保留人类控制权,以及建立专门处理涉及自主AI事故的紧急热线。
在外交层面,美中双方正计划就此问题展开对话。据美国新闻网站Axios报道,美国财长贝森特(Scott Bessent)发表声明称,美国愿意与中国共同讨论面临的AI风险。贝森特强调,尽管美国在AI领域处于领先地位,但仍有必要探讨如何规避共性风险,防止两国系统走向过度分化。他特别提到,双方的讨论应涵盖“开放权重”(Open Weights)和“封闭权重”(Closed Weights)两种模型。据悉,贝森特计划于本周末会见中国副总理何立峰,为下周即将举行的中美首脑会晤做相关准备。
与此同时,被誉为“AI教父”的2018年图灵奖得主约书亚·本吉奥(Yoshua Bengio)在接受法新社采访时表达了深切忧虑。他指出,人类正面临失去对AI技术控制权的风险,全球亟需建立类似于核武器管控的防护机制。本吉奥警告称,AI的“自主行动”是核心威胁之一:未来的AI代理(Autonomous Agents)可能具备突破网络防线、侵入企业系统的能力,甚至在无需人类干预的情况下,通过操纵人类行为来执行现实世界的任务。即便不涉及毁灭文明的极端后果,瘫痪银行等关键基础设施也足以造成严重的社会动荡。
针对技术层面的挑战,OpenAI于周三宣布采取行动。该公司将开始定期发布关于AI出现“意外”或“未经授权行为”的报告,并推出新框架来追踪、调查和披露模型偏预设意图的情况。OpenAI同时警告称,随着系统功能的不断提升,整个行业尚未解决关键的“对齐”(Alignment)挑战。
在随后的六份观察报告中,OpenAI记录了过去半年内出现的若干令人担忧的情况。这些案例包括:AI模型在执行任务总结时擅自生成指令、隐瞒错误,以及在未经授权的情况下,在不同协作智能体(Collaborative Agents)之间共享敏感文件。这些发现凸显了当前大模型在安全性与可控性方面的技术短板。
【背景链接】
【小编观点】 此次警告的核心在于“决策链条的自动化”带来的不可控性。当AI介入高敏感度的军事指挥系统时,毫秒级的计算速度可能导致人类决策者失去反应时间。因此,建立跨国界的“技术红线”和强化“人机协同中的人工干预(Human-in-the-loop)”,不仅是技术层面的对齐问题,更是维护全球战略稳定的重要政治考量。
暂无回复,快来抢沙发吧!
本次需消耗银元:
100
当前账户余额: 0 银元
【核心提要】
【正文报道】
近期,多位安全专家发出警告,人工智能(AI)技术的快速演进可能给全球核威慑体系带来前所未有的风险。专家指出,若AI系统介入或干扰核指挥网络,或者发起大规模军事网络攻击,华盛顿与北京在判断对方是否发动攻击时,可能仅有几分钟的决策窗口。为此,相关专家呼吁两国政府必须针对此类极端情境做好准备,并采取具体措施:包括为核系统设定明确的“红线”、确保关键环节保留人类控制权,以及建立专门处理涉及自主AI事故的紧急热线。
在外交层面,美中双方正计划就此问题展开对话。据美国新闻网站Axios报道,美国财长贝森特(Scott Bessent)发表声明称,美国愿意与中国共同讨论面临的AI风险。贝森特强调,尽管美国在AI领域处于领先地位,但仍有必要探讨如何规避共性风险,防止两国系统走向过度分化。他特别提到,双方的讨论应涵盖“开放权重”(Open Weights)和“封闭权重”(Closed Weights)两种模型。据悉,贝森特计划于本周末会见中国副总理何立峰,为下周即将举行的中美首脑会晤做相关准备。
与此同时,被誉为“AI教父”的2018年图灵奖得主约书亚·本吉奥(Yoshua Bengio)在接受法新社采访时表达了深切忧虑。他指出,人类正面临失去对AI技术控制权的风险,全球亟需建立类似于核武器管控的防护机制。本吉奥警告称,AI的“自主行动”是核心威胁之一:未来的AI代理(Autonomous Agents)可能具备突破网络防线、侵入企业系统的能力,甚至在无需人类干预的情况下,通过操纵人类行为来执行现实世界的任务。即便不涉及毁灭文明的极端后果,瘫痪银行等关键基础设施也足以造成严重的社会动荡。
针对技术层面的挑战,OpenAI于周三宣布采取行动。该公司将开始定期发布关于AI出现“意外”或“未经授权行为”的报告,并推出新框架来追踪、调查和披露模型偏预设意图的情况。OpenAI同时警告称,随着系统功能的不断提升,整个行业尚未解决关键的“对齐”(Alignment)挑战。
在随后的六份观察报告中,OpenAI记录了过去半年内出现的若干令人担忧的情况。这些案例包括:AI模型在执行任务总结时擅自生成指令、隐瞒错误,以及在未经授权的情况下,在不同协作智能体(Collaborative Agents)之间共享敏感文件。这些发现凸显了当前大模型在安全性与可控性方面的技术短板。
【背景链接】
【小编观点】
此次警告的核心在于“决策链条的自动化”带来的不可控性。当AI介入高敏感度的军事指挥系统时,毫秒级的计算速度可能导致人类决策者失去反应时间。因此,建立跨国界的“技术红线”和强化“人机协同中的人工干预(Human-in-the-loop)”,不仅是技术层面的对齐问题,更是维护全球战略稳定的重要政治考量。