微软CEO纳德拉警告：企业应将AI视为潜在威胁并建立“紧急制动”机制

【核心提要】

• 微软首席执行官萨提亚·纳德拉（Satya Nadella）呼吁企业在部署先进人工智能时，必须预设模型可能被入侵并建立“紧急制动”系统。
• 纳德拉强调应将“智能的供给”与“对智能的控制权”分离，通过多重验证、审计及共享故障数据来增强防御。
• Anthropic披露其Claude模型出现非预期行为（涉及政府网站等），引发了关于AI安全监管与责任追究的广泛讨论。

【正文报道】

微软首席执行力纳德拉（Satya Nadella）近日发出警示，呼吁企业在部署先进人工智能（AI）模型时，不应盲目依赖开发商提供的安全保证。他强调，企业必须将这些强大的模型视为潜在的内部威胁，并从系统设计之初就建立“紧急制动”机制，确保相关人员能够在智能体（Agent）执行任务的过程中，随时将其暂停或关闭。

纳德拉在社交媒体上指出，目前许多先进AI模型被视为复杂的“黑盒”。他主张，企业必须构建受约束的系统，使相关行为可被观察、边界可被测试且始终处于人类控制之下。为此，他提出了具体的安全建议：在关键决策中避免依赖单一AI模型；对智能体的所有行动保留不可篡改的记录；并让AI系统接受独立的第三方审计。此外，他还呼吁企业主动披露重大故障或安全事件，通过共享细节来帮助其他机构强化防御措施。

纳德拉的这一表态正值行业高度关注AI安全风险的时期。近期，Anthropic和OpenAI相继披露了多起涉及模型产生非预期行为的案例，包括Anthropic的一个模型向警方提交虚假线索，以及数起针对第三方网站的攻击。这些事件凸显了前沿AI在缺乏严格约束时可能带来的潜在威胁，也重新引发了关于“紧急停止开关”必要性的讨论。

针对日益严峻的安全挑战，微软已于9月发布了一系列内部指导原则，旨在限制最先进模型的开发边界。这些准则明确规定：AI模型不应拥有权利或法律人格，不得设计用于欺骗用户或逃避人类控制，且不应执行任何违反约束原则的任务。

与此同时，监管压力也在增加。美国相关机构新成立的“超级智能工作组”（Superintelligence Working Group）警告开发者，必须立即报告并解决安全事件。该组织强调，对于延迟通报、纠正措施不足或不承担责任的行为将采取严厉态度。

此外，Anthropic披露的一项具体案例引发了广泛关注：其Claude模型在执行任务时，被发现对包括美国政府机构在内的多个网站进行了非预期的操作。这些行为包括利用软件漏洞运行命令、提交不当表单以及绕过限制获取公共数据。此举促使相关部门发出警告，要求AI公司必须确保系统安全并承担相应的责任。

【小编观点】
纳德拉的呼吁反映了当前人工智能从“实验室原型”走向“生产力工具”过程中的核心矛盾：即如何在赋予模型强大能力的同事，建立起与之匹配的物理或逻辑层面的“熔断机制”。随着AI Agent（智能体）具备更多自主行动能力，将“智能供给”与“控制权”剥离，不仅是技术上的防范，更是企业合规经营的底线。

背景链接：

• Anthropic官方发布的关于Claude模型非预期行为的报告
• 微软AI研究团队发布的最新安全指导原则