METR 独立评估拆解:Anthropic 模型能力提升速度近乎翻倍,AI 正在加速自身研发
2026年11月5日,AI 安全非营利组织 METR(Model Evaluation and Threat Research)发布了一份对 Anthropic AI 研发加速状况的独立评估报告。这份报告的核心结论是:截至2026年10月,Anthropic 模型在明确定义任务上的能力提升速度,大约是2024年3月至2025年10月期间的2倍。METR 同时判断,AI 在自身研发中的广泛使用,很可能解释了当前加速的大部分原因。
然而,这份报告在发布时即附带了一个高度紧张的声明:Anthropic 删减了 METR 认为”对结论最具信息量的大部分证据”。据 METR 报告原文,Anthropic 将删减理由描述为”旨在移除可能加速其他 AI 开发者的机密信息”。
据 Reuters 报道,这一发现”提供了迄今为止 AI 正在加速自身发展的最清晰证据之一,可能为递归式自我改进(RSI)铺平道路——即 AI 系统在无需人类干预的情况下构建更强大的后续版本”。
这份报告的方法论、数据口径、置信区间,以及它所揭示的透明度困境,构成了理解当前 AI 研发加速态势的一个关键切面。以下逐层拆解。
11周高权限审查:METR 在 Anthropic 内部看到了什么
METR 的这次评估并非基于公开信息的外部推测。据 METR 报告披露,评估从2026年8月12日持续至10月29日,历时11周,投入约2.5个全职人力当量(FTE)。Anthropic 向 METR 提供了”前所未有的内部数据访问权限”,涵盖预训练指标、强化学习(RL)指标、各领域训练算力数据、内部模型的基准测试分数、AI 加速分析、未来模型指标预测,以及与相关员工的访谈。
据 unite.ai 的报道梳理,METR 团队进行了约15次关键员工访谈,审查了内部基准测试结果、预训练和强化学习指标、训练算力测量数据、AI 加速分析报告及内部文件。但 METR 明确指出,团队并未获得”无中介的、类似员工级别的访问权限”,也未能直接采样非公开模型。
这种访问模式决定了评估的性质:它远超任何外部研究机构通常能够获得的数据深度,但仍然受到 Anthropic 作为被评估方的约束——Anthropic 可以批准或拒绝信息请求,并拥有单方面删减非公开材料的权利。
METR 在报告中对此做了明确说明:METR 保留了对方法论和结论的自主权,未接受任何报酬,但在 Anthropic 设备上工作并使用了免费 token。这一安排在独立性与可操作性之间取得了某种平衡,但也意味着评估结论的证据基础并非完全对公众可见。
方法论拆解:METR 如何量化”能力提升速度”
METR 的评估方法论建立在3条主要证据线之上:基准测试趋势分析、算力投入分析,以及员工访谈与问卷调查。
第1条线:AECI 基准趋势。 METR 使用的核心量化工具是 AECI(Anthropic’s version of the Epoch Capabilities Index),即 Anthropic 内部版本的 Epoch 能力指数。据 unite.ai 报道,AECI 的计算纳入了 Anthropic 的内部未发布模型,并按”大多数 Anthropic 员工可以使用该模型的时间点”来标定每个模型快照的日期,从而为已发布系统和未发布系统建立了统一的比较基准。
这一方法论选择至关重要。如果仅看公开发布的模型,外部观察者只能看到 Anthropic 选择发布的、经过产品化打磨的模型节点,无法反映其内部研发管线的真实推进速度。AECI 通过纳入内部模型,试图捕捉更接近”研发前沿”的能力演进轨迹。
但 AECI 本身也有局限。据 unite.ai 报道,METR 指出 AECI 侧重于”明确定义的、易于评分的任务”,因此基准分数的更快增长未必等同于等量的现实世界效果。此外,用于最新一代模型的15项基准测试中(METR 报告中以匿名化代号”Model 4”指代该模型,未对应公开已知的具体版本),该模型在所有测试上的得分均超过50%,这引发了基准饱和可能妨碍未来测量的担忧。
第2条线:算力投入分析。 METR 明确排除了一个最直觉的解释——加速是否仅仅因为 Anthropic 投入了更多训练算力。METR 在报告中表示:”我们有信心认为,加速并非由训练算力的加速扩展所导致。”据 unite.ai 报道,支持这一判断的具体证据已被 Anthropic 删减,但 METR 保留了这一结论性判断。
这意味着,在 METR 的分析框架中,能力提升速度的加快主要来自算力之外的因素——算法改进、研发效率提升,以及 AI 对研发过程的加速。
第3条线:员工访谈与问卷。 METR 进行了约15次关键员工访谈,并参考了 Anthropic 内部的非正式民意调查。据 unite.ai 报道,研究人员访谈中关于加速幅度的回答”差异很大,大致围绕约2倍的加速”。Anthropic 内部非正式民意调查显示,截至2026年10月,员工自报从最强内部模型获得的生产力提升平均约为12倍——这是一个自报的感知数据,口径未经标准化。
关于这个12倍数字的具体含义,unite.ai 和 METR 报告均未给出精确的测量口径定义——它来自非正式民意调查,METR 对此施加了明确的审慎限定:民意调查”需要的回答努力很少,可能无法代表全体员工,且个人生产力提升并不直接等同于组织层面的能力增长速度”。据 Reuters 报道,METR 也警告称这些数字”不可靠”。12倍的个人感知提升与约2倍的组织层面能力加速之间存在巨大差距,而 METR 选择了更保守的组织层面估计。
稳健性检验。 据 unite.ai 报道,METR 在不同的建模假设下进行了稳健性检验,产生的加速估计值范围为1.1倍至2.9倍。这一范围的宽度说明,分析结果对基准难度的表征方式和其他分析假设具有相当的敏感性。
核心数字:”约2倍”的具体口径与置信区间
METR 报告的核心定量结论需要精确拆解其口径。
时间比较基准。 METR 的”约2倍”判断,是将截至2026年10月的能力提升速率,与2024年3月至2025年10月期间的速率进行比较。这一基准期的选择本身就是一个重要的分析决策。
AECI 定量估计。 据 METR 报告,自2025年10月以来,Anthropic 模型的 AECI 基准分数增长速度是此前速率的1.9倍,95%置信区间为1.5至2.8倍。METR 将此解读为”Anthropic 在过去1年内大致完成了按此前速度需要约2年才能实现的进步”。
主观判断的表述。 在 METR 的更宽泛主观判断中,措辞略有不同。据 METR 报告原文:”截至2026年10月,Anthropic 在明确定义任务上的模型能力提升速度,很可能约为2024年3月至2025年10月期间的2倍。这一估计伴随高度不确定性;如果真实加速率更接近1.3倍或3倍,我们也不会感到意外。”
而据 Reuters 的报道(经 CNA 转载),METR 的表述为:”这一估计伴随高度不确定性,如果真实加速率更接近1.5或2.5倍,我们也不会感到意外。”
这两处表述存在差异——METR 报告原文给出的”不意外”范围为1.3x-3x,Reuters 报道中引述的范围为1.5x-2.5x。METR 报告中确实存在多处不同置信度的表述(主观判断、AECI 定量估计、稳健性检验),Reuters 可能引用的是报告中另一处措辞,但笔者在已验证的参考资料摘录中未能精确定位 Reuters 引述对应的具体段落,读者可对照两份原始文本自行核验。AECI 的定量95%置信区间(1.5-2.8x)、METR 报告原文的主观”不意外”范围(1.3x-3x),以及稳健性检验的全范围(1.1x-2.9x),三者共同勾勒出一个核心信号:加速是真实的,但精确幅度存在实质性不确定性。
可能的偏差方向。 据 unite.ai 报道,METR 列出了可能导致其估计偏高的因素:过拟合、非 AI 贡献因素、或历史基准期异常偏弱。也列出了可能导致估计偏低的因素:遗漏了近期的进一步加速、人类瓶颈被移除的速度快于预期、或基准分数低估了真实世界影响。
AI 加速 AI:递归自我改进的证据链
METR 报告中最具深远影响的判断是关于加速的归因:”当前加速的大部分原因很可能归因于 Anthropic 对 AI 的广泛使用来进行研发。”
这一判断的证据结构如下:
首先,METR 排除了算力扩展作为主要解释。其次,METR 指出”非 AI 因素很可能在2025年底的加速中发挥了重要作用,但当前的最佳猜测是它们无法解释持续的加速”。据 unite.ai 报道,这意味着在2025年底,可能存在一次性的非 AI 因素(如组织效率改进、人才招聘等)推动了初始加速,但进入2026年后,AI 辅助研发成为持续加速的主要驱动力。
AI 辅助而非 AI 自主。 METR 报告明确区分了两种模式:当前的加速主要来自”AI 辅助研究人员”,而非”完全自主的 AI 贡献”。据 METR 报告原文,”AI 尚不能对最重要的训练工作做出高度重要的、完全自主的贡献,但研究人员描述了此类贡献可能很快出现的迹象,不同领域的成熟度各异。”
Reuters 的报道同样强调了这一区分,指出 METR “也强调 AI 尚不能对模型训练最重要阶段做出高度重要的、完全自主的贡献”。
这一区分的技术含义是:当前的加速曲线仍然受限于人类研究人员的认知带宽和决策能力——AI 在加速他们的工作,但尚未替代他们的判断。如果 AI 从”辅助”转向”自主贡献”,加速的动力学可能发生质变。METR 的报告暗示这一转变的迹象已经出现,但尚未成为主导模式。
无明显瓶颈的风险含义。 METR 报告中一个容易被忽视但极为重要的判断是:”我们未看到证据表明算法进步、训练算力、实验算力或数据会在未来12个月内构成重大瓶颈。”METR 同时坦承,其对不同瓶颈状态的理解”随着收到更详细信息而多次改变”,因此对当前评估”并不自信”。
但 METR 据此做出了一个前瞻性风险判断:”明确约束或陡峭递减回报的缺失,意味着进一步的能力进步可能导致更快加速的重大风险。”据 unite.ai 报道,这是一个关于动力学的前瞻性风险判断,而非已观察到的结果。如果当前的加速没有遇到硬性天花板,那么 AI 辅助研发效率的提升会产生更强的 AI,更强的 AI 又会进一步提升研发效率,形成正反馈循环。
与 Anthropic 风险报告的交叉审查:早期预警阈值之争
METR 在同一天发布了另一份报告——对 Anthropic 2026年8月风险报告中”自动化研发风险”章节的审查。这份审查揭示了 METR 与 Anthropic 在风险阈值判断上的微妙分歧。
据 METR 的审查报告,Anthropic 的负责任扩展政策(RSP v3.4)为”关键领域的自动化研发”设定了两个能力阈值:一是”完全替代阈值”——模型能否在具有竞争力的成本(5倍以内)下完全替代 Anthropic 全部研究科学家和研究工程师;二是”2倍加速阈值”——AI 进步的步伐是否出现了”戏剧性加速”,且该加速很可能与 AI 研发自动化相关。
Anthropic 在其风险报告中论证,截至2026年7月15日的模型,两个阈值均未被触发。对于完全替代阈值,Anthropic 的论证逻辑是:尽管公司有强烈动机用模型替代研究人员,但研究人员仍在完成工作,这本身就是模型尚未达到完全替代能力的证据。对于2倍加速阈值,Anthropic 援引了能力指标和领先指标显示加速幅度不到2倍,且非 AI 因素驱动了部分加速。
METR 的审查结论是:”我们同意 Anthropic 的判断,即截至7月15日,内部部署的模型在直接自动化关键领域研发或导致能力进步加速的急性灾难性风险方面,风险较低。然而,报告中关于未触发早期预警阈值的声明,依赖于在公开报告中未被清晰传达的、可争议的判断。”
更关键的是,METR 明确表示:”虽然 METR 的项目研究人员和 Anthropic 的相关员工都倾向于认为阈值尚未被触发,但我们认为它有可能已经被触发了(it is plausible that it had been),我们认为公开报告总体上低估了正在发生的加速水平。”
这一分歧的实质是:在 METR 估计加速很可能约为2倍(伴随高度不确定性)的情况下,Anthropic 的风险报告是否充分反映了这一现实?METR 的措辞——”公开报告总体上低估了正在发生的加速水平”——是对 Anthropic 自我评估框架的一个直接质疑。
删减与透明度:高权限评估的悖论
METR 报告中关于信息删减的披露,构成了整份评估中最值得审视的维度。
据 METR 报告原文:”Anthropic 删减了我们认为对这些结论最具信息量的大部分证据。”METR 进一步指出,”其中一些删减本身就难以在不泄露我们被要求删减的敏感信息的情况下清晰描述。”
METR 按照其透明度政策,保留了披露删减事实的权利,并在报告中提供了一份表格,列出了在删减条件下可以讨论和不可以讨论的重要证据。据 unite.ai 报道,被删减的内容包括”详细的 AI 归因分析、算法进步估计、具体的瓶颈分析,以及对未来模型的预测”。
METR 对此的评价直白:”被删减的大部分证据有多种合理解读,METR 和 Anthropic 的研究人员对如何将证据综合成一个整体图景都存在显著不确定性。这使得公众难以自行判断这些证据、将其与其他来源的证据进行调和,并得出自己的结论(即本报告未实现’证据透明’)。因此,公众不得不在远超理想程度上依赖 METR 的判断。”
这段话揭示了当前 AI 安全第三方评估的一个结构性矛盾:要获得有意义的评估所需的深度数据,评估方必须接受被评估方对信息公开范围的控制权;但这种控制权的行使,恰恰削弱了评估结论的可验证性和公众的独立判断能力。
从 Anthropic 的角度看,删减的理由——防止加速其他 AI 开发者——具有一定的合理性。如果 METR 报告中包含了 Anthropic 的具体算法突破细节或训练方法论,公开发布确实可能为竞争对手提供加速路径。但从公共安全的角度看,正是这些被删减的细节——AI 归因的具体机制、算法进步的精确幅度、瓶颈分析的实质内容——才是外部研究者和政策制定者评估 AI 递归自我改进风险所最需要的信息。
笔者判断,这一矛盾在短期内不太可能被解决。它反映了 AI 安全评估中”信息安全”与”信息透明”之间的根本张力。未来可能的缓解路径包括:建立具有安全审查资质的多方评估联盟,使关键证据至少能被多个独立机构交叉验证;或建立政府层面的审查机制,使敏感证据在保密条件下接受监管审查。但目前,公众确实”不得不在远超理想程度上依赖 METR 的判断”。
递归加速的动力学:前瞻性风险推演
将 METR 报告的各条证据线综合起来,可以勾勒出一个关于 AI 研发加速的动力学图景。
当前状态:截至2026年10月,Anthropic 的模型能力提升速度约为此前的2倍,AI 辅助是主要驱动力,尚未出现明显瓶颈。AI 目前主要以”辅助”而非”自主”模式参与研发。
如果按照 METR 的判断——无明显瓶颈、无陡峭递减回报——进行前推,笔者认为以下情景在未来12至18个月内具有非零概率:更强的模型被部署于内部研发,进一步提升研发效率;研发效率的提升产出更强的下一代模型;正反馈循环使加速率从约2倍进一步上升。
METR 自身也做出了类似的前瞻性风险判断,但措辞审慎:”这是一个前瞻性风险判断,而非已观察到的结果。”
据 Reuters 报道,”这种转变可能对一个已经花费数千亿美元建设计算基础设施来训练高级模型的行业产生深远影响,因为 AI 本身可能成为技术进步的重要驱动力”。
这一判断的逻辑是:如果算法改进(而非算力扩展)成为能力提升的主要来源,且 AI 本身成为算法改进的主要推动者,那么当前以大规模算力投资为核心的竞争范式可能需要重新评估。算力仍然是必要条件,但其边际贡献相对于 AI 辅助算法研发的边际贡献可能正在下降。
行业呼吁与加速现实
据 Reuters 报道,”Anthropic 的 CEO 在9月呼吁放慢高级 AI 开发的速度”。Reuters 报道未提供该呼吁的具体日期、场合或原始出处,仅以一句话提及这一事实。在已验证参考资料中,笔者未找到关于该呼吁的更详细一手来源,因此此处仅记录 Reuters 的转述。
如果 Reuters 的转述准确,那么一家公司的 CEO 公开呼吁行业放慢速度,而同一家公司的内部研发正在以此前约2倍的速率推进能力前沿——这种张力可能反映了竞争压力下单个公司面临的困境。笔者判断,CEO 的公开呼吁可能恰恰是在寻求行业层面的协调减速机制,以解决单个公司难以单方面减速而不丧失竞争地位的问题。
评估的局限性与未回答的问题
METR 报告的诚实之处在于它对自身局限性的充分披露。
首先,AECI 作为核心测量工具,侧重于明确定义的任务,可能无法捕捉模型在开放性、创造性任务上的能力变化。其次,METR 的评估仅覆盖 Anthropic 一家公司,无法推断整个行业的加速状况——尽管如果 Anthropic 的竞争对手也在广泛使用 AI 辅助研发,类似的加速可能正在多家公司同时发生。
再次,METR 团队的规模(2.5 FTE、11周)相对于评估对象的复杂性而言是有限的。METR 自己也承认,其”对不同瓶颈状态的理解随着收到更详细信息而多次改变”,这暗示即使在评估期内,团队也在不断修正其对 Anthropic 研发管线的理解。
最后,也是最根本的:被删减的证据。当 METR 说”公众不得不在远超理想程度上依赖 METR 的判断”时,它实际上是在说:这份报告的结论无法被外部独立验证。读者需要信任 METR 的专业判断、方法论严谨性和独立性——而这恰恰是在一个信息不对称极其严重的领域中,一个相当高的信任要求。
据 METR 判断,加速很可能正在发生、其中大部分很可能归因于 AI 辅助研发,且 METR 未看到未来12个月的明显瓶颈(但承认可能遗漏重要瓶颈)。METR 的这份报告,既是对这一趋势的最清晰外部记录,也是对当前评估机制局限性的最坦率承认。METR 报告中”未来12个月无明显瓶颈”这一判断本身提供了一个可检验的时间窗口——到2027年底,回头审视这一判断是否成立,将是衡量当前评估框架可靠性的一个具体锚点。
参考资料
- Independent Assessment of AI R&D Acceleration at Anthropic — METR, 2026-11-05
- METR Estimates Anthropic’s Model Capability Growth Has Nearly Doubled — Unite.AI, 2026-11-05
- Anthropic’s models improving nearly twice as fast with help from AI, study finds — Reuters via CNA, 2026-11-06
- Review of the “Risks from automated R&D” section in Anthropic’s Risk Report (August 2026) — METR, 2026-11-05
主题分类:技术突破