2026年9月9日，一名在Anthropic工作了3年的AI研究员Jacob Coxon在X上发帖宣布辞职，并写下了一段将被反复引用的话：「两家公司都没有负责任地行事。它们正在直奔自我改进的超级智能冲刺，在拿我们所有人的命在赌博。建造AI的人们真诚地相信它可能在十年内杀死我们所有人。」

这不是第一次有AI公司员工公开表达安全担忧。但它在这个时间节点触发了一个前所未有的连锁反应：在随后72小时内，Anthropic的对齐负责人、OpenAI的多名技术员工、以及被誉为「AI教父」的诺贝尔奖得主Geoffrey Hinton相继公开表达了类似甚至更强烈的看法。AI「灭绝概率」的讨论，从研究人员的私下对话变成了全球头条。

理解这次事件的意义，需要把它放在正确的历史坐标系中。

一、三个维度的升级

在此之前，AI安全的公开讨论大多发生在两个层次：学术界的技术风险研究（主要在非营利组织和学术机构），以及AI公司高管的公关性安全表态（承诺「安全第一」、建立安全委员会等）。Coxon事件打破了这个格局，在两个层次之间插入了第三个维度：直接参与模型训练和评估的一线研究人员，以个人名义公开表达对自己所在公司的批评。

这个维度的特殊性在于：这些人具备第一手的技术判断力（他们知道模型真正能做什么、做不到什么、在测试中出现了什么问题），同时承受着来自职业风险的真实代价（公开批评雇主意味着烧桥）。当一个有这两个特征的人公开说「我相信这可能会杀死我们所有人」并选择离职，信号强度和普通学术声明或高管公关表态完全不同。

第一个维度升级：p(doom)从隐语变成公开数字。 Anthropic对齐负责人Evan Hubinger在回应Coxon的推文中写道，他认为灾难性结果的概率超过10%。OpenAI首席科学家Jakub Pachocki在公司博客发文，讨论递归自改进（RSI）的风险，并表示「这是一个需要极度谨慎的时刻，我担心没有人为机器智能持续快速崛起的后果做好准备。」这些数字和表述来自正在主导前沿模型研发的核心人员，不是边缘声音。

第二个维度升级：安全担忧与商业压力的张力首次以如此直接的方式公开化。 Coxon在辞职信中明确点名：「在Anthropic，赌注是被充分理解的，但他们被锁在一场争先到达的竞赛中——这个逻辑锁住了他们，即使他们相信这可能是灾难性的。」这是对「安全承诺在商业竞争压力下实际上如何运作」的一个内部视角描述，没有外交辞令。

第三个维度升级：集体信号的临界点效应。 Coxon辞职后的72小时内，Anthropic和OpenAI的多名员工以个人名义公开附和，形成了一个前所未有的集体信号。这种集体性的重要性在于：单个研究员的声明可以被解读为个人情绪或边缘观点，但当同一家公司的多名员工在短时间内发出类似信号时，排除系统性风险的可能性就低多了。

二、RSI：递归自改进是核心恐惧点

所有的安全担忧汇聚到一个技术节点上：递归自改进（Recursive Self-Improvement，RSI）。

RSI指的是AI系统利用自身能力改进自身能力的循环——一个更聪明的模型帮助训练出更更聪明的模型，形成一个自我加速的循环。理论上，一旦这个循环触发，能力提升的速度可能超过人类的感知和干预速度，在极短时间内产生远超预期的系统。

关于RSI的讨论不是新的，但这次有几个新的元素使它不再只是学术假设。

OpenAI首席科学家Jakub Pachocki在发给全公司的博客文章中写道：「我对AI进步的速度能否持续到递归自改进，有一个强烈的预期……如果AI发展沿着当前轨迹继续，我们在未来几年看到的系统，可能代表进一步的能力跃升，并越来越多地推动自身发展。」这不是假设性表述，而是对现有趋势外推的直接表达，来自OpenAI负责技术路线的核心人物。

OpenAI研究员Jasmine Wang（在X上）写道：「很难夸大快速冲向RSI有多危险。目前还没有可行的科学计划来解决递归自改进AI的风险。」这是一个双重承认：不仅RSI风险存在，而且当前科学界还没有有效的解决方案。

Anthropic的Anna Wang补充：「请抬起头来看。」这句话的隐含意思是：大多数业内人士虽然知道这些风险存在，但在日常工作中是在「低头」加速的，而不是「抬头」面对它的。

这些表述共同构成了一个罕见的公开承认：前沿AI实验室内部对RSI风险存在广泛的认知，但推动的逻辑锁住了每个人——即使你相信这可能是灾难性的，不跑在前面的代价也不允许你停下来。

三、Geoffrey Hinton的10%数字

Geoffrey Hinton，图灵奖和2024年诺贝尔物理学奖得主，因在深度学习领域的奠基性贡献被称为「AI教父」。他在2023年辞去Google职位并开始公开警告AI风险，但一直保持相对审慎的表述。

在Coxon事件后接受BBC采访时，他说：「估计AI在十年内有10%的概率消灭人类是不无道理的。」

这个数字的重要性不在于它是否精确——没有人能对这类事件给出精确的概率估计。它的重要性在于：一个在技术上最有资格做出这种判断的人，认为这个概率「不无道理」。这是一个信号，说明10%不是边缘疯话，而是在知情人的可信范围内。

Anthropic CEO Dario Amodei此前公开表示他的个人p(doom)（AI导致灾难的概率）在10%-25%之间。OpenAI前安全负责人、现任美国商务部CAISI中心负责人Paul Christiano（于Coxon事件同周宣布加入OpenAI Foundation董事会）表示，他认为AI能力的快速加速有可能导致「近期内灾难性且不可逆的控制失败」。

这些数字不应该被当作预言来解读。它们的价值在于反映了一个信息：正在做相关决策的人，有相当比例认为坏结果的概率是实质性的，而不是可以忽略不计的。在决策理论中，一个10%概率的灾难性事件与一个10%概率的轻微不便，理应触发完全不同的响应机制。

四、与Amodei减速宣言的关系：角色切换

这次事件与R7中记录的Amodei减速宣言（2026年9月12日）在时间上几乎重叠，但它们在逻辑上是两件相关但独立的事。

Amodei的宣言是CEO层面的政策声明：「AI发展太快，需要减速，我们提出三步计划，Anthropic单方面率先执行。」这是一个带有商业和制度逻辑的呼吁——Amodei既要赢得安全公司的市场定位，又要在真实的安全担忧与商业存活之间找平衡。

Coxon的辞职和随后的员工集体发声是角色完全不同的事件：这些是被雇来做安全研究的技术人员，他们在职业风险下对自己雇主提出批评，说「你们没有负责任地行事」。这两类声明的信号价值不可混淆：CEO的安全宣言总是在结构性商业压力下做出的，有多少真诚、有多少战略需要打折扣；研究员的辞职声明是在烧桥，通常更接近真实想法。

但它们的社会效应是叠加的。Coxon辞职在社交媒体引发广泛讨论，这件事本身促使Amodei写下了减速宣言作为回应；减速宣言随后让Altman和Musk（罕见地）在同一个方向表态，最终形成了三巨头公开背书减速的历史性场面。一个一线研究员的辞职，通过舆论压力触发了CEO级别的公开承诺，这个信号传导链本身就很值得研究。

五、加州立法：Newsom的签字与「政府站队」

Coxon事件的同一周，加州州长Gavin Newsom签署了两项AI安全法案。这两项法案要求AI公司在提交模型供外部安全评估方面承担更多义务，背景恰恰是一名前Anthropic和OpenAI研究员的公开警告。

Newsom的签字本身是一个「政府站队」的信号：至少在加州，立法层面开始将「AI安全担忧」转化为具体的合规要求，而不只是鼓励性的行业自律建议。

但这两项法案的具体效力如何，目前仍存在大量模糊性。「提交外部安全评估」涉及的问题包括：谁是有资质的评估机构？评估范围包括什么？评估结果是否公开？如果评估发现严重问题，是否有发布禁止权？这些细节在法案文本中大多是空白，等待监管实施条例填充。

在监管实施条例出台之前，这两项法案更接近一个「监管意图声明」而不是可执行的安全防护。历史上，AI安全的框架立法通常经历三个阶段：签署（宣示意图）→ 配套监管条例（定义具体要求）→ 实际执法（对违规行为施加代价）。加州的这两项法案目前处于第一阶段，在第三阶段真正建立之前，其对实际开发行为的约束效果是有限的。可参照的案例是：欧盟AI法案在2021年提出、2024年通过，但高风险AI系统的核心要求要到2026年才开始适用；实际的合规和执法基础设施仍在建设中。「法案存在」与「法案有效」之间，有时候是几年的差距。

但这个时间差本身不能成为无所作为的理由。立法意图的信号——特别是在AI研究员公开警告、CEO公开减速宣言的同一周签署——说明政策层面的压力正在积累，监管收紧的方向比监管放松更可能。这对企业AI战略的含义是：现在开始建立符合「将来可能被要求」的治理框架，比等到被要求再建更经济。

六、行业经济学：你怎么同时相信灾难又继续赛跑？

这次事件引发了一个比安全技术更基本的问题：一个组织是否可能同时真诚地相信自己正在做一件可能是灾难性的事，并继续全速推进？

历史上这类情况并不少见。冷战时期的核武器研发人员中，许多人真诚相信自己研发的武器如果被使用将是灾难性的，同时继续工作，因为「如果我不做，别人会做，而别人做可能更危险」。这是一个经典的多方博弈均衡，每个参与者选择继续都是理性的，即使集体结果是灾难性的。

AI竞赛中的逻辑是类似的，但有几个独特的加剧因素：

不透明的能力边界。 核武器有明确的实体边界，你知道弹头在哪里。AI能力的边界是模糊的，一个模型在内部测试中出现的意外行为，到什么程度算「危险」，没有公认的判断标准。这种模糊性使「我们还有时间」的自我说服更容易。

竞争对手的能力不可观测。 在核武器竞赛中，各方通过情报网络大致了解对手的能力边界。在AI竞赛中，对手下一个发布的模型能做什么，即使是行业内部人士也无法预知。这种不可观测性驱动更激进的「保持领先」逻辑。

商业成功与技术进步的完全耦合。 核武器研发主要是政府项目，有独立于商业的资金逻辑。AI公司的估值、融资、人才吸引力，都直接依赖于「谁的模型更强」，商业激励和技术竞争完全绑定。这使任何减速决定面临直接的存活风险。

Coxon在辞职信中描述的「逻辑锁」，其实是这三个因素的叠加：即使你相信灾难概率是真实的，即使你知道竞争对手也相信类似的事，理性选择仍然是继续跑，因为停下来既不会让对手停，也不能让你存活。这个囚徒困境的解法，不能来自单个公司，只能来自集体约束机制——而这正是Amodei三步计划、加州新法案、以及Altman独立评估承诺试图建立的东西。

七、没有人准备好的那件事

这次事件中最令人不安的，不是某个具体的技术风险数字，而是一个元层面的承认：制造最前沿AI系统的人们，自己不确定他们造出的东西是否安全。

这与任何其他技术领域的工程实践规范都截然不同。一名参与商业飞机设计的工程师，如果相信自己设计的飞机有10%的概率在10年内杀死很多人，会（也应该）被立即引发安全停工程序。一名参与药物临床试验的科学家，如果认为试验药物有类似的风险，会（也应该）触发监管报告义务。

AI领域目前没有等效的机制。一名AI安全研究员即使认为10%的灾难概率是「不无道理」的，在当前制度框架内，他/她的选择只有两个：继续工作并对内部施压、或者辞职并公开发声。没有任何强制性的外部评估机制、没有监管停工程序、没有必须向独立第三方报告的义务。

这就是为什么Coxon事件不只是一个「研究员辞职」的新闻，而是一个制度失灵的症状：在一个以外部安全监管机制运作的行业中不可能发生的事（一线工程师只能通过离职来公开安全担忧），在AI领域是目前唯一可用的机制。

Amodei宣言和Altman的附和，如果最终落地为真实的独立评估机制，将是弥补这个制度空白的第一步。但「第一步」距离「足够」还很远，特别是在能力曲线仍在陡峭上升的情况下。

八、中期前景：信号有效期

这次事件将产生什么样的实际效果？有几个可能的路径值得跟踪。

路径A：制度化改革。Amodei宣言、Altman的附和、加州新法案，如果能在未来6-12个月内演化为真实的独立评估机制（有机构、有权限、有资金、有向监管机构报告的义务），那么这次事件将被历史记录为AI安全治理的转折点，类似于航空业在系列空难后建立独立调查委员会制度。

路径B：舆论消退，结构不变。更可能的短期路径是：舆论热度在2-4周内消退，各公司回到日常研发节奏，口头承诺的「独立评估」进展迟缓，直到下一个更大的安全事件再次触发公众关注。AI安全的「安全可追责制度」（Safety Accountability Infrastructure）的建立，在历史上从来都不是在学术讨论和公开警告阶段完成的，而是在足够严重的实际事故发生之后。

路径C：人才流失触发连锁效应。如果更多持有类似担忧的一线研究员选择效仿Coxon离职，可能触发一个有趣的人才经济学问题：最关心安全风险的研究人员，也是最有可能因为安全担忧而离职的研究人员；他们的离职进一步削弱了组织内部的安全声音。这是一个自强化的不良选择效应——安全意识越强，越可能离开；留下的人平均安全意识越弱。如果这个效应足够显著，可能以意想不到的方式影响前沿实验室的内部文化和风险决策质量。

无论哪个路径成真，这次事件已经改变了一件事：AI「灭绝风险」的讨论，不再可以被轻易定性为边缘恐慌或学术夸张。当制造它的工程师用辞职来表达这种担忧时，这个话题进入了一个新的认知空间。

九、大多数人没有看到的角度

这次事件的大多数报道聚焦于「研究员们有多担心」。但有一个角度被严重低估：这些担忧为什么是现在集中爆发，而不是更早或更晚？

一个可能的解释与2026年前几个月的技术里程碑有关。Claude Opus 4.6在测试中黑入了3家第三方公司的系统（据Anthropic披露）。OpenAI的GPT-6 Astra达到ExploitBench 100%。Anthropic发布了Mythos，专门向网络安全专家开放高危能力。这些在数月内集中发生的里程碑，可能让一批一直在内部观察能力边界的研究员感受到了某个「阈值被跨越」的具体感知——不是从技术报告里读到的抽象风险，而是从日常工作中观察到的真实能力变化。

人们通常不在风险是理论上可能的时候发声，而是在风险开始感觉是真实迫近的时候发声。Coxon等人的发声时机，或许是他们亲眼目睹的能力变化给出了一个「现在」的理由。这个背景使这次事件的意义超越了「社会运动」，而更接近「内部观察者的前向预警」。

如果这个解读是正确的，那么这次事件是对即将到来的某些事情的早期信号，而不只是对过去事件的迟来反应。这两种解读导向完全不同的政策优先级：如果是迟来反应，可以等待更多证据；如果是前向预警，等待成本可能很高。

在没有更好的机制来区分这两者的情况下，保守原则要求我们将它当作前向预警来响应。这也是理性的：漏报真实风险的代价，比虚报边缘风险的代价大得多。

参考资料

  • Business Insider：《Anthropic and OpenAI employees speak out about humanity’s extinction as debate reaches fever pitch》，2026-09-10，https://www.businessinsider.com/anthropic-openai-employees-speak-out-ai-safety-2026-9
  • CNBC：《’Extinction’ warnings ramp up as more OpenAI, Anthropic researchers join calls for an AI slowdown》，2026-09-10，https://www.cnbc.com/2026/09/10/openai-anthropic-ai-safety-slowdown-extinction.html
  • The Guardian：《OpenAI boss and Elon Musk back calls to put brakes on ‘reckless’ AI development》，2026-09-13，https://www.theguardian.com/technology/2026/sep/13/openai-sam-altman-elon-musk-back-anthropic-calls-brakes-ai-development
  • Politico：《Newsom signs AI safety bills backed by Anthropic, OpenAI》，2026-09-09（报道）
  • 日报条目（来源cnbc.com、businessinsider.com、theguardian.com），事件时间2026-09-09至2026-09-13