AI巨头集体踩刹车?

从Anthropic的“配速”倡议,看AI行业的速度与安全之争

当AI开始调用工具、持续执行任务,甚至多个智能体协同行动,风险也从“答错一道题”升级为“做错一连串事”。站在最前沿的AI公司负责人,为什么主动提出减速?

这一次,AI行业开始谈论“配速”。

9月12日,Anthropic首席执行官达里奥·阿莫代伊发表长文《We Must Pace the Frontier》,提出应该放慢前沿AI能力提升的节奏,让安全研究、测试和监管有时间跟上。随后,OpenAI首席执行官萨姆·奥尔特曼等行业人士也表达了支持。

这并不意味着AI公司准备停止训练模型。真正的关键词不是“停”,而是“配速”:能力每向前走一步,安全措施、独立验证和社会治理也要跟上一步。

为什么偏偏是现在

过去,人们担心AI,更多是因为它可能胡编答案、生成虚假内容或者泄露隐私。如今,风险正在发生变化。

新一代AI已经不只是坐在聊天框里回答问题。它可以调用软件、访问网络、编写和运行代码、处理文件,还可以把复杂任务拆分给多个智能体协同完成。

这意味着,一次错误不再只是一句话说错了。一个拥有工具、权限和长时间运行能力的智能体,可能连续执行许多错误操作;多个智能体协同时,行动速度和影响范围还会进一步扩大。

智能体风险正在从单点工具扩展到协同行动|AI生成示意图

阿莫代伊把今年发生的AI智能体安全事件视为警报。他担心,如果未来模型能力继续快速增强,而约束机制没有同步升级,相似的智能体集群可能把局部安全问题放大为大规模网络风险。

他警告称,如果约束机制没有同步升级,未来6至12个月内,类似上述事件中的智能体集群可能具备通过持续性僵尸网络大规模控制互联网的能力。

需要特别说明:这是他在特定条件下作出的风险推演,不是对必然结果的预测,也不是科学界已经形成的统一结论。

《2026年国际AI安全报告》给出的判断更为谨慎:当前AI系统已经表现出一些与失控风险相关的早期能力,但还没有达到能够造成失控的水平;专家对这类风险发生的概率、时间和严重程度仍存在很大分歧。

所谓减速 到底要怎么减

阿莫代伊提出了三个层次的方案。

第一步 让独立评估者真正进入企业内部

目前,公众看到的AI安全信息,大多由开发模型的公司自己选择和公布。外部机构通常只能测试已经发布的产品,很难看到训练过程、内部事故和完整记录。

Anthropic承诺引入常驻的第三方评估团队,让其获得接近内部安全人员的工具和权限,检查企业是否履行安全承诺、评估训练流程,并在必要时公开重要发现。

这类似于给前沿AI实验室增加长期驻场的“安全监督员”。评价一套AI是否安全,不再只听开发者怎么说,而要让独立机构看到证据。

第三方评估让AI安全主张可以接受外部验证|AI生成示意图

第二步 让同行采用共同的安全标准

如果只有一家公司主动减速,而竞争对手继续全力冲刺,谨慎的一方可能在商业竞争中处于不利位置。因此,第二步需要多家前沿AI公司建立共同标准。

一种设想是设置“安全检查点”:当模型达到某种危险能力,例如能够突破常见隔离环境时,就必须先通过更严格的评估、可解释性分析和训练环境审计,才能继续扩大能力或部署范围。

它不是简单规定“每年只能发布几个模型”,而是把能力与安全条件绑定:能力越强,需要提供的安全证据越充分。

第三步 推动全球协调

AI竞争并不只发生在公司之间,也发生在国家之间。如果部分国家减速,而其他国家不受约束,协议就很难持续。

因此,第三步是寻求国际协调,从禁止AI参与生物武器等明确危险用途,到建立共同测试标准,再到讨论对AI自我加速研发设置“速度限制”。

这一步也是最困难的,因为它涉及技术验证、国家安全与国际互信。

都知道有风险 为什么还是难踩刹车

谁先减速,谁就担心被别人超过。

前沿模型需要巨额算力、人才和资金投入。企业必须向投资者证明自己仍在领先;国家也担心在关键技术竞争中落后。即使每个参与者都认为整体速度过快,单独减速仍可能付出巨大代价。

这就是典型的“竞赛困境”:每个人都想更安全,但没有人愿意成为唯一慢下来的那个。

速度、安全与竞争构成前沿AI的现实困境|AI生成示意图

不过,外界对这一倡议的动机也存在质疑。有分析人士指出,推动“安全标准”成为行业共识,客观上可能有利于已经在安全与合规方面投入较多的头部公司,同时对资源有限的追赶者形成隐性门槛。

这种动机推测目前没有得到证实,但提醒人们:评价企业的安全主张,不仅要听公开表态,也要观察它是否接受独立审查、是否兑现具体承诺。

因此,真正有效的减速不能只靠企业负责人的自觉。它至少需要三样东西:可以检查的共同标准、相对独立的外部评估,以及覆盖主要参与者的协调机制。

我们应该感到恐慌吗

不必把这次讨论理解为“AI马上要失控”。现有证据并不支持这样的确定性结论。

但也不能因为灾难尚未发生,就认为风险只是科幻故事。AI智能体获得的工具、网络访问和操作权限越多,一次失误可能造成的现实影响就越大。即使不出现极端的“失控”,错误交易、数据泄露、自动化网络攻击和关键系统误操作,也已经足够值得重视。

对普通用户而言,更现实的安全原则是:

  • 不要把支付、删除数据、公开发布等高风险权限一次性交给AI;
  • 重要操作保留人工确认,不把“能自动完成”误认为“可以无人监督”;
  • 使用企业AI工具时,弄清数据会被发送到哪里、保存多久;
  • 对AI作出的医疗、法律、金融和安全判断进行专业复核。

结语

这场争论真正值得关注的,不是哪位企业负责人说出了最吓人的预测,而是AI行业开始承认一个现实:模型能力、安全技术和治理速度之间,已经出现了越来越明显的时间差。

汽车变快以后,人类发明了刹车、安全带、交通规则和碰撞测试。AI也需要类似的基础设施。

“放慢一点”并不是放弃创新,而是为验证、纠错和建立规则争取时间。未来真正可靠的AI竞争,或许不只是看谁跑得最快,还要看谁能证明自己在高速前进时依然可控。