SemiAnalysis 于2026年11月2日发布了 GDPx 基准。这个联合14家 RL 环境公司构建的测试集，覆盖11个专业领域，最终结果是：表现最好的前沿模型综合得分仅约12%。作为背景，这些模型在其他评测中展现出强势成绩——Google DeepMind 在2026年10月28日发布 Gemini 4 Carbon 时披露，该模型在 Artificial Analysis Intelligence Index v5.0 上拿到59分排名第1，在 SEC-bench Pro 上达到88.2%，在 CWE-bench 上达到71.0%。不同基准衡量不同维度的能力，分数之间不能直接比较，但 GDPx 给出的个位数到低两位数的成绩，与其他评测中的高分形成了鲜明反差。

设计哲学：第1个万亿美元收入会落在哪里

SemiAnalysis 在 GDPx 原文中开宗明义地阐述了选题逻辑：他们认为 AI 的第1个万亿美元收入将集中在能部署前沿智能获得高 ROI 的领域，而非广泛分散于整体经济。基于 GDP 份额或 SOC/O*NET 职业分类构建通用基准，在他们看来是一个方向性错误。

这个判断直接决定了 GDPx 的领域选择。据 GDPx 官方站，它覆盖以下11个方向：递归自我改进（RSI）、软件工程、芯片设计、网络安全、生物、金融、法律、量化交易、硬件设计、材料科学、对齐（alignment）。与此同时，GDPx 主动放弃了政府、房地产、保险等在 GDP 中占比极大的行业。

这套逻辑的核心假设是：前沿模型的商业价值集中在少数技术密度高、自动化杠杆大的领域。芯片设计工程师的一个月产出可能直接影响数十亿美元的产品线；一个量化交易策略的改进可以在毫秒级产生利润。相比之下，房地产经纪或政府行政流程虽然涉及大量就业人口，但单位任务的自动化价值密度要低得多。

这也是 GDPx 对 OpenAI GDPval 最核心的批评点。据 SemiAnalysis，GDPval 发布于2025年9月25日——距今已超过1年，在 AI 领域堪称”永恒”。更关键的是，GDPval 发布时 agent 还不是主流范式，这对其任务设计产生了根本影响。SemiAnalysis 将 GDPval 描述为非交互、填鸭式（原文 spoon-fed）的设计——即所有必要上下文直接在提示里喂给模型，没有工具调用、环境交互、多轮调试等 agentic 能力的测试。

方法论：14家 RL 环境公司供题，首次即过 QA 才收录

GDPx 的任务来源是其方法论中最具辨识度的部分。SemiAnalysis 没有自己出题，而是联合了14家专门的 RL 环境数据公司，每家公司负责其专长领域的任务设计。

据 GDPx 官方站，具体分工如下：芯片设计领域由 Aria、Arcverex、Ergodex 供题；网络安全由 Arithmetic 负责；生物领域由 LatchBio 提供；金融任务来自 Living Context；法律由 Chakra 出题；量化交易领域是 Third Moment；RSI 由 Extrapolate 负责；硬件设计来自 Beautiful Machines；材料科学由 ValenceForge 和 Emulated 两家公司共同覆盖；对齐领域由 Fleet 供题；软件工程由 Datacurve 负责。

SemiAnalysis 在原文中解释了为什么需要这种分工模式：像 GPT-6 Astra 和 Opus 5.5 这样的模型已经在推动人类知识的边界。如果你想设计一个这些模型只能在不到20%的时间内解决的金融或网络安全任务，你需要真正的领域专家来确保任务的难度是”难在正确的地方”。SemiAnalysis 还指出，许多流行基准通过发布”明显不公平”的任务来回避这个问题——通常表现为评分器（grader）本身存在缺陷。原文提到，SemiAnalysis 两位作者（Andrew 和 Max）此前联合创办过 RL 环境创业公司，向多家前沿实验室出售数据，积累了丰富的 QA 经验。他们将这套 QA 流程应用于 Terminal Bench 4.0 等流行基准时，会把近50%的任务标为存在问题（broken）——这被用来说明流行基准中坏题的普遍程度，以及 GDPx 为何要设定严格的 QA 门槛。

在质量控制层面，GDPx 采用了”首次即过自动化 QA 才收录”的标准——合作方提交的任务必须第一次就通过，最多只允许小错误，不少合作方（包括一些知名的）因此被淘汰。据 GDPx 官方站，整个基准包含206道任务。每道任务的默认时间预算为8小时（部分更短），使用原生 agentic harness——即 Claude Code（Anthropic）、Codex（OpenAI）、Antigravity（Google）等各家模型的原生代理工具，没有原生 harness 的模型使用 OpenCode。评估方式为 pass@1×3（每道题跑3次取通过率），各领域之间等权计分，同一领域有多家合作方时合作方之间也等权。

据 SemiAnalysis 原文，前沿实验室愿为单道高质量任务支付5000美元以上，有些领域多家合作方都希望独家供题，SemiAnalysis 从中择优。

8小时的单任务时间预算本身就是一个重要的设计选择。这意味着 GDPx 评估的是模型在长时间跨度内执行复杂、多步骤工程任务的能力——包括遇到死胡同后回溯、调试、重新规划的全过程。Google DeepMind 在 Gemini 4 Carbon 的发布博客中也提到了类似的能力画像：其内部团队观察到 Carbon 能”连续运行数天，坚持穿越死胡同，处理复杂的多步骤工程任务，如在大型代码库和底层系统中定位根因并修补细微 bug”。

结果：谁赢了什么，谁全军覆没

GDPx 排行榜 v1.0 的结果呈现出几个清晰的模式。

综合排名：据 GDPx 官方站排行榜，Opus 5.5 以12.0%的综合得分排名第1，Gemini 4 Carbon 以10.9%排名第2，GPT-6 Astra 以9.6%排名第3。SemiAnalysis 在原文中明确写道：”GDPx is a true frontier-level benchmark: even the best model scores just 12%.”

领域冠军的分布：Opus 5.5 在量化交易、硬件设计和芯片设计3个领域领先。GPT-6 Astra 在 RSI 领域”convincingly”获胜，同时也是材料科学的最佳模型。Gemini 4 Carbon 赢得了生物领域（SemiAnalysis 认为这可能与其较弱的安全分类器有关）并在软件工程领域以微弱优势胜出。

金融和法律的极端结果：SemiAnalysis 在原文中称，金融和法律任务极具挑战性，”basically every model scores exactly 0”。原文进一步说明，在二元评分下所有模型都是0%，因此排行榜改为报告平均部分得分（average partial score）。

安全分类器的影响：SemiAnalysis 明确指出，Opus 5.5 和 GPT-6 Astra 的综合分数被安全分类器”sandbagged”（拖低）。如果排除网络安全、生物和对齐这3个安全分类器会介入的领域，排名会发生变化。原文还提到一个引人注目的发现：在网络安全领域，Muse Wonder Full 实际上是”the best available cyber model today by a meaningful margin”——SemiAnalysis 以此为例说明安全分类器在选择模型时的影响被低估。

模型家族内部的一致性：SemiAnalysis 观察到，如果只看单一模型家族的子集，有时会看到非常相似的能力”尖刺”（spikes）。

成本-性能 Pareto 前沿：在成本维度上，SemiAnalysis 描述的格局是：Luna 和 DeepSeek 争夺低成本端，Opus 赢得高端，OpenAI 占据中间位置。SemiAnalysis 称 Gemini 4 Carbon 的出现”worth watching closely”，并在排名讨论中称其是”the only model in the same ballpark as Opus and Astra”，认为这是 Google 的一次实质性进步。

这个结果与 Gemini 4 Carbon 在其他基准上的表现形成了有趣的对照。Google DeepMind 在发布博客中强调 Carbon 在 Artificial Analysis Intelligence Index v5.0 上排名第1（得分59），在 SEC-bench Pro 上达到88.2%，在 ExploitGym 上达到54.8%，在 CWE-bench 上达到71.0%。在 GDPx 的框架下，Carbon 以10.9%排名第2，仅次于 Opus 5.5 的12.0%。

对 GDPval 的批评

SemiAnalysis 对 OpenAI GDPval 的批评是 GDPx 存在理由的核心论证之一。

GDPval 及其衍生版本（如 GDPval AA v2.1）至今仍是主要模型发布时最常引用的通用基准。但 SemiAnalysis 指出了一个结构性问题：据 SemiAnalysis，GDPval 发布于2025年9月25日，当时 agent 范式尚未成熟，因此其任务设计本质上是非交互的——模型接收输入、产出答案，没有工具调用、环境交互、多轮调试等 agentic 能力的测试。

这个批评指向的结论是：GDPval 衡量的是一种正在过时的能力形态。当前沿模型的核心价值越来越多地体现在长时间 agentic 工作流中——连续数小时甚至数天地执行多步骤工程任务——一个非交互的基准自然无法捕捉这种能力的真实水平。

Microsoft Research 在2026年10月30日发布的 Industry Evaluation Data Generation Platform 从另一个角度印证了同类问题的存在。据 Microsoft Research 博客，该平台构建了”全规模合成企业环境”，以 O*NET 职业数据、在线招聘信息和 SEC 文件等公开数据为基础，模拟真实的业务工作流。Microsoft 明确表示，这样做的目的是”帮助发现通用基准会遗漏的问题”。这至少说明，业界对通用基准的局限性有着广泛的共识。

争议：利益关系、统计稳定性与安全分类器

GDPx 的设计和结论并非没有争议点，以下几个问题需要读者自行评估。

SemiAnalysis 与供题公司的利益关系。14家 RL 环境公司为 GDPx 供题，而 GDPx 的发布反过来为这些公司提供了显著的品牌曝光和行业背书。SemiAnalysis 原文披露了部分相关背景：两位作者此前联合创办过 RL 环境创业公司，向多家前沿实验室出售数据；原文称实验室愿为单道高质量任务支付5000美元以上；有些领域多家合作方都希望独家供题，SemiAnalysis 从中择优。但原文未明确披露与这14家公司之间是否存在财务关系、股权关系或其他商业安排。在一个基准的权威性高度依赖其独立性的领域，这种透明度的不完整是一个合理的关切。

206道任务的统计稳定性。据 GDPx 官方站，206道任务分布在11个领域，平均每个领域不到19道题。部分领域的任务数量可能更少。当一个领域只有十几道题时，单道题的随机波动对整体分数的影响会被放大。pass@1×3 的评估方式（每题跑3次）在一定程度上缓解了这个问题，但无法从根本上解决小样本带来的统计不稳定性。金融和法律领域二元评分下全部为0这一结果，既可能反映了真实的能力缺口，也可能部分源于任务数量过少导致的极端结果。

安全分类器”拖分”的解释口径。SemiAnalysis 将 Opus 5.5 和 GPT-6 Astra 在网络安全、生物、对齐领域的低分归因于安全分类器的介入，并提供了排除这3个领域后的替代排名。这种处理方式存在两种截然不同的解读：一种是安全分类器确实阻止了模型展现其真实能力，因此排除后的排名更能反映”裸”模型的实力；另一种是安全分类器本身就是模型产品的一部分，用户在实际使用中面对的就是带分类器的模型，因此含分类器的分数才是真实的可用能力。SemiAnalysis 同时展示了两组数据，但其叙事明显倾向于前一种解读。

笔者判断，这3个争议点都不足以否定 GDPx 的核心贡献——即揭示前沿模型在高价值专业任务上的巨大能力缺口——但它们确实限制了对具体排名数字的过度解读。一个更成熟的版本可能需要更大的任务规模、更透明的利益披露，以及对安全分类器影响的更系统化处理。

12%意味着什么

GDPx 的12%不是一个关于模型”不行”的结论。它是一个关于测量标准的陈述：当你用前沿智能 ROI 最高的领域来衡量前沿模型，而不是用通用知识问答或标准化编程题，模型的能力边界会急剧收缩。

这个结果对3类决策者有直接影响。对 AI 实验室而言，它指出了能力提升的具体方向——金融和法律领域在二元评分下所有模型得分均为0%。以金融为例，GDPx 原文金融部分（由合作方 Living Context 撰写）解释，金融任务风险高，Excel 工作簿里一个关键单元格出错就判整题失败，因此采用二元评分；并称除了记忆、上下文窗口、工具等仍有提升空间的能力，前沿模型主要缺乏企业级的金融推理与判断力。对企业采购决策者而言，它提供了一个更贴近高价值专业部署场景的参考框架——不同模型在不同领域的”尖刺”意味着选型必须按具体用例而非综合排名进行。对基准设计者而言，GDPx 提出了一个方法论挑战：agentic 时代的基准需要原生 agentic harness、长时间预算和领域专家出题，通用考试式的设计正在失去区分度。

SemiAnalysis 在原文中表示 GDPx 的目标是成为”the world’s best benchmark for measuring general agentic capabilities”。这个目标能否实现，取决于它能否在后续版本中解决任务规模、统计稳定性和利益透明度的问题。但至少在当前这个版本中，12%这个数字为”前沿模型在高价值专业领域的实际能力水平”提供了一个此前缺失的参照点。

参考资料

  1. GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains — SemiAnalysis, 2026-11-02
  2. GDPx 官方站排行榜 — SemiAnalysis, 2026-11-02
  3. Gemini 4 Carbon: our next frontier model — Google DeepMind, 2026-10-28
  4. From synthetic enterprise data evaluations to real Microsoft Copilot AI confidence — Microsoft Research, 2026-10-30
  5. Agentic AI Benchmarks Widen Proprietary-Model Edge to 12 Points in Artificial Analysis v5 Overhaul — TechTimes, 2026-10-29

主题分类：技术突破