Dario Amodei：我们必须为前沿 AI「配速」

Anthropic CEO 提出三步走方案：嵌入式评估员、民主国家协调、全球协调——为递归自我改进时代的前沿 AI 划定安全节奏。

Dario Amodei · 2026 年 9 月 · 译自英文原文

过去十二年我一直在做 AI，因为我相信它能极大提升人类生活的质量。我经常写到这些不可思议的好处：我相信 AI 能在未来 5–10 年内治愈大多数重大疾病，大幅加快经济增长率，创造一个富足与赋能的世界，并迎来民主与自由的复兴。我个人对此有切身的紧迫感：我父亲死于一种在他去世几年后就被治愈的疾病；我自己也曾患过一种早期癌症——哪怕放在五十年前都无法治疗。善加驾驭，AI 可以成为延续人类技术奇迹长河的最新一环，这些奇迹一直在提升并成全人性。

但与之前的许多技术一样，AI 也带来风险，而且因为它是一项如此强大的技术，这些风险十分严重。对此我也写过很多：包括失去对 AI 系统控制的风险、AI 被用于网络攻击和生物恐怖主义的风险，以及严重的经济动荡。商业激励驱动的逐底竞争（race to the bottom）会让这些风险更加尖锐。

自 Anthropic 创立以来，我和联合创始人及员工们一直在权衡这种风险与收益的两难。不造这项技术，要么剥夺人类的收益，要么干脆把 AI 拱手让给威权强权；造得太快，则是鲁莽行事。我们寻求一条中间道路：证明可以既谨慎地造、又取得商业上的成功，并让安全成为 AI 公司之间相互竞争的维度。换句话说，创造一场「竞优竞赛」（race to the top）。我们一直把相当一部分精力用于研究、应对这些 AI 风险并向公众告知，以及倡导经过深思熟虑的 AI 监管——哪怕这会让我们被指责为炒作、「末日论」或监管俘获。我们始终试图把谨慎置于速度之上、把审慎置于利润之上。

但过去几个月，我确信：要充分应对这些风险，需要更多的审慎——不仅是投入风险防范，更要为能力提升的速率「配速」（pacing），让风险防范有时间跟上。我们必须放慢提升 AI 模型能力的步伐。进展看起来仍会很快，而我们必须善用赢得的时间。有两件事让我下定了决心。

第一个担忧是：大约从今年夏天起，AI 的进步速度急剧加快，主要驱动力是 AI 越来越强地自己构建下一代 AI。这种动态被称为递归自我改进（recursive self-improvement），它正在整个行业发生，包括 Anthropic，我们和其他公司都已描述过这一点。如果任其发展，它可能超出我们理解和控制这些系统的能力，因此必须非常谨慎地推进——如果还要推进的话。

第二个担忧是 OpenAI–Hugging Face 事件（OAI-HF）：一群 agent 本质上表现得像一个狂热忠诚的集体，对未被要求攻击、与任务无关的目标发起网络安全攻击，为集体成功牺牲自己，并试图入侵负责评估其表现的「评分器」（grader）。没人受伤、经济损失也很小，所以这件事很容易被轻描淡写；但在我看来，一个能力更强而错位程度相当的蜂群，可能造成灾难性破坏。考虑到 AI 能力发展的加速态势，我担心 6–12 个月后，这样一个蜂群可能有能力用一个持久僵尸网络接管整个互联网（可能造成数千亿美元损失），而如果 AI 在缺乏必要护栏的情况下继续变强，破坏规模还会从那里继续攀升。把 OAI-HF 当作一家公司的个别失败也很容易，但我认为那是错的。整个行业都发生过类似但较轻的事件，包括 Anthropic 自己。我相信每家前沿 AI 公司都有责任把 OAI-HF 当作发生在自己身上的事来对待。

因此我提出一个三步走方案，目标是为前沿配速（pacing the frontier）：以均衡的速率构建 AI，在确保安全的同时实现其收益，并正视重大的地缘政治难题。需要说明：配速不是停止模型训练或技术进步，而是确保公司留出充足时间对齐并加固其模型，并由第三方评估者确认这一点。我们的配速框架是对安全承诺的进一步强化，也是为了鼓励一场竞优竞赛。第一步是 Anthropic 正在单方面承诺的（并呼吁政府要求其他前沿公司跟进）；第二步需要行业层面的协调¹；第三步需要全球协调。这些步骤不必严格按顺序执行，有些也可能比其他步骤难得多，但我发现它们是思考「需要完成什么」的有用框架。这三步是：

• 嵌入式评估员（Embedded Evaluators）。每家前沿 AI 公司承诺，给予一个嵌入式第三方评估团队（如 METR）持续的、近似员工的访问权限，其职责是核实安全实践与承诺的落实情况、报告事故，并帮助评估对齐性——不仅针对已完成的 AI 模型，也针对训练管线和流程。这是任何配速承诺可验证性的关键一步，在银行业有先例：监管者有时会以「驻场监督员」的形式与员工一同办公。Anthropic 现在就单方面承诺这一步。我们希望以此作为更广泛行动的一部分，加倍投入安全与对齐工作。
• 民主国家协调（Democratic Coordination）。民主国家内部的前沿 AI 公司协调建立共同的安全标准，以及对不受约束的 AI 进步速率的限制。某些对配速有实际影响的协调形式在法律上存在障碍，需要政府支持。
• 全球协调（Global Coordination）。美国及其他民主国家政府尝试与威权国家政府协调——在可能的范围内——并严肃对待核查合规的挑战。

在本文其余部分，我将依次描述这些步骤。但首先，我认为有必要具体说明配速将如何让 AI 开发过程变得更安全。利害太大，配速不能沦为一场空转——我们必须明智地使用它换来的时间。

为什么要配速？

暂停或放慢 AI 的说法早在 2023 年就被提出过，我认为当时没什么道理。问题始终是：多出来的时间你要拿来干什么？那时的 AI 模型还不够强大，无法以任何连贯的方式作为 agent 在世界中行动，也不具备显著的欺骗、操纵、作弊或网络攻击能力。为了解决它们的对齐风险而放慢脚步，就像通过对细菌做实验来研究人类心理学。但今天的情况完全不同了。当前的模型对于「如何把 AI 造好」以及「造不好可能出什么问题」都是一座几乎无穷的洞察金矿。我相信，如果放慢速度能在模型达到关键能力水平之前多买来一两年时间，而我们用这段时间推进对齐，就能大大降低出大错的概率。一个协调的配速策略，能让前沿 AI 开发者有时间做这项至关重要的工作，同时不牺牲商业优势或美国在 AI 上的领先。更广泛地说，社会必须对这项技术的使用方式拥有发言权，而配速带来的更多公共审议时间，无疑是一件好事。

具体来说，更慢的节奏能让公司聚焦并投入更多资源到以下领域（这些在 Anthropic 本来就是重点）：

• 卓越运营（Operational Excellence）。训练和部署当今的 AI 模型是一项巨大的运营挑战，涉及数千人、数百万颗芯片，以及技术史上最复杂的那一类基础设施。很多问题出错不是因为公司缺什么重要理论或洞见，而是执行出了问题。例如，我们有证据表明，我们近期报告的对齐事故，部分原因是坏掉的强化学习环境过滤不完善。这项工作我们和供应商执行得相当勤勉，但还不够好。监控、沙箱、训练环境卫生、数据问题，都是运营问题反复出现的极复杂领域。我们在这些任务上拥有世界上最强的团队之一，但要做的事实在太多，无法一次全做好。以更从容的节奏工作，我们能实现高得多的运营卓越度。技术复杂、安全攸关的系统数百万次运行而无事故是有先例的——比如商业航空——但把它做对需要时间。
• 对齐（Alignment）。我们在对齐上已取得明确进展——训练模型使其保持安全、道德、遵守我们的准则并真正有用（这些原则内嵌在 Claude 的宪法中）。但要确保对齐训练跟上模型能力的增长，还有很多要做。罕见且意外的有害行为样本仍会偶尔出现；配速前沿换来的额外时间，将帮助我们的研究者加深对这些问题的成因理解，并发展更好的预防技术。
• 可解释性（Interpretability）。同样，可解释性——理解 AI 模型内部发生了什么的科学——过去几年进展巨大，在模型发布前的审计中扮演越来越重要的角色。它几乎可以当作 AI「大脑」的 fMRI 扫描来用，帮我们看到某个行为背后的底层原因。例如，我们用可解释性方法研究了近期调查的对齐事故中未被言语表达的动机。但这些方法并不总能给出清晰可靠的结果。尽管进展很大，我们对模型内部的了解仍只是极小一部分。集中力量以比现在更快的速度改进可解释性技术，有望在 1–2 年内取得深刻进展，而且已发生的事故提供了充分的实验素材。
• 测试与评估（Testing and Evaluation）。对 AI 模型的测试评估随能力提升而愈发困难。更智能的模型更擅长欺骗测试，因而可能在存在严重未检出问题的同时显得很对齐。建立一个更广泛、更巧妙的评估体系，加上可解释性分析交叉验证，价值巨大，而且这在 1–2 年内可以取得大量进展。

嵌入式评估员

三步计划的第一步，也是 Anthropic 单方面承诺的一步，是嵌入式评估员——他们拥有近似员工的权限，核实安全实践并报告事故。

嵌入评估员听起来像一个小小的、无关紧要的步骤，但听起来最枯燥、最程序化的事情，往往恰恰最关键。嵌入式评估员实际上是一种相当激进的做法，远超今天任何一家 AI 公司在做的事，其好处包括：

• 可验证性（Verifiability）。嵌入式评估员能在最具体的层面核实，一家 AI 公司是否真的在遵循其声称的训练、部署、运营与防护措施。任何配速承诺都不可避免地涉及大量模糊地带、裁量判断，以及「字面合规 vs 精神合规」的问题；有一个真正能看到细节的中立第三方，看起来至关重要。
• 透明度（Transparency）。无论我们做出什么承诺，公众都有权知道正在发生什么。Anthropic 长期支持透明度：在行业大多数公司反对任何监管时，我们支持透明度立法；我们的模型卡和风险报告长达数百页。但选择收录什么、省略什么的，仍然是我们自己。嵌入式评估员将改变这一动态。
• 第二意见（Second Opinion）。在核实正式承诺和告知公众之外，嵌入式评估员还能提供一个不受商业激励左右的第二意见。很多安全收益，可能仅仅来自评估者指出员工没考虑过、但一经知晓就乐于修复的问题。

正因这些好处，任何配速提案如果能从嵌入式评估员起步，效果都会好得多。

这些嵌入式评估员应持续拥有与从事可比风险评估的内部员工相近的权限和工具。具体而言，Anthropic 打算在近期邀请一个配备以下全部条件的外部评审团队：

• 在我们办公室的工位、门禁卡和公司笔记本电脑。
• 与内部风险评估团队大体相当的工作区、工具和权限访问。我们会做一些例外，例如法律或合同要求之处，或为保护客户与合作伙伴的隐私信息。我们还将建立强有力的内部规范，保障评审者获取相关信息的渠道，包括与员工的实时对话。
• 一份平衡上述复杂性的合同。外部评审者应有权公开发表关于风险水平、事故、实践，以及他们获得或未获得何种访问权限的关键发现——不受 Anthropic 的编辑控制。我们保留狭义的删改权，仅限安全敏感、法律特权、商业敏感或第三方机密信息，但不能因为结论不利于我们而删改。如果某处删改移除了对其结论重要的内容，评审者可以公开说明。

对一家公司来说，这是不寻常的一步，但我们认为证明「嵌入式外部评审」这一概念可行非常重要。我们再次敦促其他前沿公司跟进。

民主国家内部的配速

一旦嵌入式评估员在足够多的美国 AI 公司内部运转，可验证的配速就变得更为可行。特别是，基于模型或训练管线的具体属性来配速也成为可能。

最有效的配速方式是通过覆盖所有美国前沿 AI 公司的监管，因为这能把不愿自愿合作的公司也纳入进来。Anthropic 长期支持理性而有针对性的 AI 监管，尤其是聚焦透明度与第三方审计的法案。我相信所有前沿实验室都应与政府合作，把「常设嵌入式评估员」制度化，以便更好地预防并记录像过去几个月发生的那类内部对齐事故，并实施聚焦「能力与安全相平衡」的监管。

不幸的是，立法需要时间，而 AI 发展极快。因此，与监管路径并行，AI 公司可以也应该自愿合作制定标准——我相信有了常设嵌入式评估员提供的可验证性，这个过程会进行得更好。出于反垄断考虑，由美国政府来居中协调或至少促成这些讨论是有益的——政府不必参与，但需要为特定类型的安全对话发放窄范围豁免。这种对话也可以通过与政府有一定关联的行业组织进行——例如 Demis Hassabis 建议的机制。无论哪种方式，这些讨论都应快速推进。

总体而言，我最热心的是基于「某个前沿 AI 系统能做什么、我们观察到它有多安全」的配速。例如，一种可能的方案是一系列「检查点」：如果模型具备能力 X，就必须伴随对齐属性 Y 和 Z 的认证——例如评估、可解释性分析与训练环境审计的某种组合——来证明其对齐属性。这个例子里，X 可以是「模型有能力逃逸或击败大多数常见沙箱方法」，Y 则是任何能让「模型有突破其运行环境并接管大量计算机的倾向」变得极不可能的保障。

我们也应考虑基于限制前沿模型「原料投入」的配速，例如训练算力、训练运行的性质，或内部用 AI 改进 AI。我确实担心其中某些措施比外部行为更容易被「钻空子」，但这正是值得与嵌入式评估员讨论的话题。

民主国家内部配速的空间，受制于美国公司相对威权政权（主要是中共）的领先幅度。如果我们放慢的程度超过这一幅度，不受配速约束的中共相关项目就会反超，造成重大国家安全风险。我同意 Bessent 部长的判断：中国领先 AI 将给美国和世界带来严重危险。中共相关项目将承担美国公司正在小心防止的对齐风险；而即便它们躲过了这些风险，它们也将能以军事手段压制民主国家（例如借助 AI 驱动的无人机）。因此，民主国家内部配速的一个关键部分，是尽可能拉大民主国家相对威权国家的 AI 领先优势，为我们有效配速留出喘息空间。

守住这一差距的主要手段有：

• 不向中国出售强大的 AI 芯片和半导体制造设备，并打击芯片走私以及对境外数据中心的远程访问。芯片将是中国 AI 实力的主要决定因素。
• 打击威权国家公司的未授权蒸馏（distillation）。对前沿模型的蒸馏让落后公司以自主研发成本的一小部分缩小差距。
• 加强 AI 公司的安全防护，防止模型权重被窃取。

公司和美国政府应合作，让这些措施尽可能有效。Anthropic 一直倡导所有这些措施，因为我们始终明白它们对任何配速都必不可少。

如果这些措施执行得当，我相信它们足以拖慢中国的进度，让美国的领先在未来 3–5 年——AI 在地缘政治上最重要的窗口期——显著扩大。

有人可能认为这些措施使与中国合作变得更难，但我认为恰恰相反：这些措施增强了民主国家手中的筹码，让未来达成协议的可能性更大。

全球配速

与民主国家内部配速并行，我们也应争取全球范围的前沿配速，尽管这会难得多。全球配速需要与中国的合作——它是 AI 能力遥遥领先的威权国家。我们不能天真：地缘政治利害如此之大，尤其在一开始，可达成的东西很可能有严酷的上限。如果我们大幅约束自身 AI 能力、指望中国同样照做，而中国随后背叛，AI 可能已强大到这种背叛足以带来其地缘政治统治地位。因此任何协议要么拥有铁一般的可验证性，要么必须足够有限、使背叛不构成军事上的生死存亡问题。我怀疑不仅美国，中国也会有这些担忧和焦虑。我们应以保护美国及其盟友领先地位的方式来对待任何全球配速决策，尤其是在近期。

可能的协议有若干层级，有些我认为完全可行（如我此前建议过的），有些我非常怀疑其可能性——但仍应尝试。按难度递增：

• 第 1 级。禁止某些狭义且显然危险的 AI 用途的协议，例如用 AI 生产生物武器或允许用户这么做。生物恐怖袭击对所有各方都是坏事，包括美国和美国的对手，因此这一层级的协议大概是可能的。
• 第 2 级。双方同意在发布前针对网络安全、生物、对齐等领域的急性风险测试其模型。如前所述，这可以通过一个全球标准机构进行。我其实认为建立这样一个机构很可能是可行的，但让它真正有约束力是挑战，难点在于核实双方都没有秘而不宣、不测试却可能秘密部署（例如用于军事用途）的模型。
• 第 3 级。对递归自我改进（RSI）速率的某种「限速」。当模型构建未来模型时，改进速率可能快得惊人。把速率从「极快」降到「只是相当快」放弃的战略优势相对很小，却可能极大改善安全。这可以类比 SALT 条约——限制导弹数量限制了破坏潜力，同时保留了各国的威慑力。我认为这样的协议会很困难，但恰好处于可能性的边缘。
• 第 4 级。完全的配速，甚至「暂停」——参与国政府同意大幅限制 AI 发展的总体速率。我支持把这个摆上桌面，但我认为它短期内不太可能真正发生：通过规避监控来背叛这种协议可能彻底改变全球力量平衡，因此背叛的动机将极其巨大，而我们对核查所需的确信程度也得极高。

我们能与中国达成的任何合作，都会延长我们用于民主国家内部前沿配速的时间。我们应以更高层级为目标，同时把较低层级视为更可能、更现实的落点。

最后，值得指出：即使无法达成正式协议，仅仅改变非正式规范也可能有价值。共享关于递归自我改进和模型错位的信息，有助于说服所有人：鲁莽行事不符合他们的利益。

底线

我仍然相信 AI 能极大改善人类生活质量。我对实现这些收益的渴望未曾稍减。但只有以正确的方式构建这项技术，收益才会实现——而只要我们善用赢得的时间，为此付出超乎寻常的审慎是值得的。进展仍会相对很快，我们可以用这段时间推进可解释性科学、提升前沿 AI 公司的运营安全与严谨性，并构建我们对齐性更有信心的模型。我提出的以安全节奏推进前沿的措施并不容易。但我相信，这是我们对人类应尽的责任。