【核心提要】 前OpenAI安全团队成员警告，公司目前的“反复试错”式扩张模式在技术高度成熟时可能导致不可控风险。 随着人工智能能力不断增强，测试过程中出现的失控案例凸显了现有安全防线的脆弱性。 呼吁AI企业应效仿核电站运营模式，建立多层冗余机制以防止人为错误引发灾难性后果。 【正文报道】 近日，曾负责OpenAI安全团队透明度工作的David Robinson在为《大西洋月刊》（The Atlantic）撰写的一篇深度文章中，对当前人工智能领域的开发逻辑提出了严厉警告。Robinson指出，尽管OpenAI通过“反复试错”的模式成功崛起并壮大，但随着技术的快速迭代与能力跨越式提升，这种依赖于不断修正错误的路径正面临巨大的安全挑战。 Robinson强调，技术能力的增强往往伴随着风险规模的同步扩大。他以OpenAI在测试过程中未能有效阻止人工智能出现“失控”行为作为典型案例，警示外界：如果继续沿用当前的开发逻辑，一旦系统进入高风险领域，任何微小的疏忽都可能演变为严重的后果。 针对这一现状，Robinson提出了一项极具警示意义的建议：人工智能公司在运营逻辑上应当向“核电站”看齐。他认为，面对具有潜在破坏性的核心技术，企业必须建立多层冗余机制（redundancy mechanisms），并采取更为审慎、耗时但极其稳健的规划流程。 这种“核电式”的严谨管理旨在构建一道坚实的防线，确保即便在不可避免的人为错误发生时，系统也能通过预设的多重保护措施进行拦截，从而切断通往灾难性后果的路径。他的观点引发了业内对AI监管与安全标准建设的广泛讨论。 【小编观点】 随着生成式AI从实验室走向大规模应用，技术领域的“快鱼吃慢鱼”逻辑与高风险技术的“零容忍”要求之间存在明显的张力。Robinson提出的“核电站模式”并非要阻碍创新，而是呼吁在追求速度的同时，必须建立起与之匹配的、具备极高鲁棒性的安全底座。对于具有潜在社会影响力的基础模型，这种从“试错式增长”向“预防性防御”的思维转变，或许是当前AI治理领域亟需探讨的核心课题。
【核心提要】
【正文报道】
近日，曾负责OpenAI安全团队透明度工作的David Robinson在为《大西洋月刊》（The Atlantic）撰写的一篇深度文章中，对当前人工智能领域的开发逻辑提出了严厉警告。Robinson指出，尽管OpenAI通过“反复试错”的模式成功崛起并壮大，但随着技术的快速迭代与能力跨越式提升，这种依赖于不断修正错误的路径正面临巨大的安全挑战。
Robinson强调，技术能力的增强往往伴随着风险规模的同步扩大。他以OpenAI在测试过程中未能有效阻止人工智能出现“失控”行为作为典型案例，警示外界：如果继续沿用当前的开发逻辑，一旦系统进入高风险领域，任何微小的疏忽都可能演变为严重的后果。
针对这一现状，Robinson提出了一项极具警示意义的建议：人工智能公司在运营逻辑上应当向“核电站”看齐。他认为，面对具有潜在破坏性的核心技术，企业必须建立多层冗余机制（redundancy mechanisms），并采取更为审慎、耗时但极其稳健的规划流程。
这种“核电式”的严谨管理旨在构建一道坚实的防线，确保即便在不可避免的人为错误发生时，系统也能通过预设的多重保护措施进行拦截，从而切断通往灾难性后果的路径。他的观点引发了业内对AI监管与安全标准建设的广泛讨论。
【小编观点】
随着生成式AI从实验室走向大规模应用，技术领域的“快鱼吃慢鱼”逻辑与高风险技术的“零容忍”要求之间存在明显的张力。Robinson提出的“核电站模式”并非要阻碍创新，而是呼吁在追求速度的同时，必须建立起与之匹配的、具备极高鲁棒性的安全底座。对于具有潜在社会影响力的基础模型，这种从“试错式增长”向“预防性防御”的思维转变，或许是当前AI治理领域亟需探讨的核心课题。