9月10日星期四，Anthropic研究员Samuel Marks在X上发了一条帖子。

他写道：「AI developers believe their technology could cause human extinction (or similarly bad outcomes). This could happen in the next few years. In general, the more senior the employee, the more concerned they are.」

「AI开发者相信他们的技术可能导致人类灭绝（或类似的坏结果）。这可能在接下来几年内发生。通常，资历越高的员工，就越担忧。」

Marks没有辞职。他继续在Anthropic上班。

这一周里，类似的故事一再发生。

Jasmine Wang，OpenAI的对齐研究员，写道：”It’s hard to overstate how dangerous speeding towards RSI is.”（”很难高估朝递归自我改进加速这件事有多危险。”）她也没有辞职。

Anna Wang，Anthropic的AGI安全对齐研究员，写道：”There is not yet a viable scientific plan to solve risks from recursively self-improving AI. Please look up!”（”目前还没有可行的科学方案来解决递归自我改进AI的风险。请认真对待！”）她同样没有辞职。

Julie Steele，OpenAI安全团队成员，写道：”In my personal capacity, I also think we need to slow down.”（”以我个人的身份，我也认为我们需要减速。”）她依然在OpenAI工作。

这不是一件容易理解的事情。

一个奇怪的新闻周

让我们先梳理一下这一周里发生了什么。

9月9日，星期二：Jacob Coxon在X上发帖，宣布辞职。他在Anthropic做了三年预训练研究，之前在OpenAI参与过GPT-4o开发。他写道，Anthropic和OpenAI都没有在负责任地行事，两家公司都在”赌博我们的生命”，他无法继续在那里工作。他辞职了。

9月10日，星期三：Anthropic对齐研究负责人Evan Hubinger在X上发帖回应说，他个人预计AI导致人类灭绝的概率”超过10%”。（这是他在X上的个人判断，不是发表在学术期刊上的科学估计——这个区别很重要，后文会详细讨论。）多位Anthropic和OpenAI员工在X上公开表达对AI安全的忧虑。Geoffrey Hinton，诺贝尔物理学奖得主、”AI教父”，在BBC采访中说：”不能不合理地估计AI在十年内消灭人类的概率是10%。”

9月12日，星期五：Anthropic CEO Dario Amodei在个人网站发表长文《We Must Pace the Frontier》，提出三步框架减速AI能力发展，并宣布Anthropic将率先单方面承诺第一步。同日，Sam Altman和Elon Musk分别表示支持。

从Coxon辞职到Musk说”Dario是对的”，只用了三天。

这是一个你很难想象在任何其他行业发生的场景：行业领头羊的顶级技术人员公开说”我们做的事情可能导致人类灭绝”，CEO同意，然后他们继续开展业务。

值得注意的是，这不是几个边缘人物在社交媒体上发牢骚。Evan Hubinger是Anthropic的对齐研究负责人，这是公司核心安全工作的最高职位之一。Samuel Marks是有多年经验的研究员，曾发表多篇对齐方向的学术论文。Jasmine Wang在OpenAI的对齐团队工作。Anna Wang专注于AGI安全。这些人不是在公司边缘发声的不满员工——他们是机构内部最懂技术风险的核心人员，而他们说的是”我们最担忧的事情正在发生”。

认知失调的三种解释

如何理解这件事？有三种不同的解释框架，每一种都部分成立，但都不完整。

框架一：这是真诚的认知失调

认知失调是心理学的一个经典概念：当一个人持有两种相互矛盾的信念，或者信念与行为相矛盾时，他会感到内心不适，但并不一定能解决这种矛盾。

这种解释的逻辑是：这些研究员真诚地相信他们正在做的事情很危险，同时也真诚地相信继续做这件事是必要的或者是他们能做的最好的事情。这两种信念共存，没有被解决——因为解决它需要采取激进行动（辞职、公开反对），而大多数人不愿意或者不能承担这种代价。

支持这种解释的是：这些话大多是在”个人身份”下说的，不代表公司立场；说话的人显得真诚，没有表演感；他们知道说这些话可能对他们的职业生涯有影响，但还是说了。一个测试：如果这是纯粹的表演，为什么要加”个人身份”的限定语？如果是公司授权的PR动作，为什么措辞如此不经修饰？正常的公司PR不会让顶级研究员出来说”AI可能在几年内导致人类灭绝”——这是一个PR团队永远不会批准的措辞。

框架二：这是理性的加速主义

另一种解释是：这些人并不是认知失调，而是持有一种连贯的世界观，只是表面上看起来矛盾。

这种世界观大概是这样的：AI的发展是不可避免的，无论我们的公司做还是不做，别人也会做。如果我留在这里，我可以对安全工作施加影响，让发展方向更安全一些。如果我离开，会有一个不那么关注安全的人来做这个工作。所以，即使我认为这件事整体上很危险，我留在这里的边际贡献是减少危险的，而不是增加危险的。

这种逻辑被称为”安全参与主义”——通过参与来影响，而不是通过退出来抗议。Coxon的辞职，从这个角度看，被一些人认为是非理性的：你离开了，但AI的发展没有因此停止，你只是放弃了自己的影响力。

Amodei的文章某种程度上代表了这种逻辑：不是停止，而是通过”定速”来争取时间，同时继续发展。这是一种试图解决悖论的尝试，但它本身也建立在一个假设上——”减速是有效的，而不是一种安抚性姿态”——这个假设本身就充满争议。

框架三：这是战略性的叙事定位

第三种解释更加世俗，也更令人不舒服：这些表态，至少部分上，是企业叙事策略的一部分。

在这种解读里，AI公司的高管和研究员公开表达对风险的担忧，有其战略价值：它区分了”负责任的AI公司”（我们知道风险，我们在认真对待）和”不负责任的AI公司”（他们不知道，或者不在乎）；它创造了监管友好的形象；它为监管豁免（比如Amodei呼吁的反垄断豁免）提供了道德正当性；它向用户和企业客户传递了”我们是可以信任的”信号。

批评者指出：如果这些公司真的相信他们的技术有10%的概率导致人类灭绝，他们的行动方案应该比”发表一篇文章呼吁行业自律”激进得多。他们本可以停止发布新模型。他们本可以推动立法。他们本可以组织员工罢工直到安全标准被建立。这些都是更一致的行动选择，但没有人真的去做。

这个角度不是说这些担忧是假的——它们很可能是真实的。但它指出：真实的担忧和战略性地表达担忧是可以同时存在的，区分这两者并不容易。

Coxon为什么辞职，其他人为什么没有

Jacob Coxon在这件事里是唯一一个用行动而非言论表达了立场的人。

他辞职了。

在一个充满模糊态度和战略措辞的环境里，这是一个相对清晰的信号。他说了”我不能继续做这件事”，并且真的不做了。

这引发了一个值得认真对待的问题：如果你真的相信一件事有10%的概率导致人类灭绝，理性的行动是什么？

功利主义的计算似乎是明确的：如果一件事有10%的概率导致人类灭绝，而”继续工作”会加速这件事的发生，那么”继续工作”是不可辩护的——无论工资多高，无论你认为自己能施加多少正面影响，因为失败的代价是无限的（全人类的死亡）。

但大多数人不做功利主义计算。大多数人在面对”我的行动改变结果的概率有多大？”这个问题时，会倾向于低估自己的影响，从而认为”我走不走没有关系”。大多数人在面对不确定的远期风险时，会做时间折现（近期利益比远期风险更真实）。大多数人受到社会规范、职业路径、家庭责任的约束，这些约束让”激进行动”的成本极高。

Coxon选择了辞职。这个行为需要他相信：他的离开本身是一个有意义的信号，即使它不能直接阻止任何事情发生。他选择了用一个象征性的行为来对抗认知失调，而不是用理性化来消解它。

对于其他人来说，这个选择的成本太高，或者这个逻辑不够令人信服。所以他们继续工作，继续担忧，继续在X上发帖，继续参与那个他们相信可能很危险的项目。

这不是一个可以被轻易解决的悖论

有一个容易犯的错误：试图给这个悖论一个干净的答案。

“他们是虚伪的”——过于简单。这些人中的很多人，在多年职业生涯里用实际行动证明了他们对安全的关注。

“他们是在表演”——也过于简单。在X上公开说”我们可能导致人类灭绝”不是帮助职业生涯的好方法。

“他们只是在理性地权衡利弊”——部分成立，但无法解释Coxon的选择和其他人的沉默之间的对比。

更诚实的答案是：这些人都在面对一个真实的、没有好选项的困境。这个困境是：你相信一件事很危险，但你也相信你离开会让它更危险（或者你的离开不能改变任何事），同时你有真实的生活需要维持，有真实的使命感促使你留下来。这不是虚伪，这是人类在面对真正难以解决的道德困境时的常见反应。

这种困境在人类历史上不是第一次出现。曼哈顿计划的物理学家们，很多人在战后公开表示后悔参与了原子弹的开发——但他们在1944年、1945年仍然继续工作，因为他们相信”如果我不做，会有人做，而且那个人可能更不负责任”。唯一在工作进行中辞职的，是波兰物理学家Joseph Rotblat——他1944年以道义反对为由离开了曼哈顿计划，后来在1995年因推动核裁军获得了诺贝尔和平奖。但这不能证明留下来的其他人是错的——Oppenheimer、Fermi们的贡献，在另一个意义上也推动了人类对核武器危险性的认识。这个逻辑今天以几乎完全相同的形式，出现在AI行业里。这不是巧合，而是人类面对大规模危险技术时的结构性反应模式。

最令人不安的，不是这些人的选择。而是这件事本身——世界上最聪明的一些技术人员，花了大量时间思考这个问题，做出了不同的选择，有人辞职，有人留下，没有人能够说服所有人他们的选择是对的。这种不确定性本身，是对技术进步超越社会伦理框架的一种诊断。

外部人看这件事该怎么看

如果你是一个关注AI发展的外部人——不是从业者，只是一个普通人——这一周发生的事意味着什么？

首先，把警告当成警告，但也要理解警告的局限。这些业内人士说的”10%概率”是他们的个人判断，不是科学共识，也不是精确计算。它反映了他们真实的忧虑，但也受到了职业文化、叙事框架、激励结构的影响。这是一个信号，不是一个终极事实。”10%概率”这个数字本身值得追问：这个概率是怎么算出来的？基于什么模型？在什么样的发展情景下？这些问题没有清晰的答案，但问这些问题让我们不至于被情绪裹挟，也不至于完全忽视这些声音。

其次，行动比言论更有信息量。在这一周里，言论很多，行动很少。唯一真正采取行动的是Coxon（辞职）和Amodei（发文并宣布单方面承诺第一步）。其余的，大多是信号表达，而不是行动承诺。如果你想理解一个人或一个机构真正相信什么，看他们做什么，而不是说什么。Anthropic说要”定速”，它的第一步是邀请METR入驻进行嵌入式评估——这是一个具体的、可验证的行动，值得持续跟踪。

第三，这件事说明，即便是最理解这项技术的人，也没有达成关于如何应对的共识。有人认为继续参与是更好的选择，有人认为必须离开。有人认为10%的灭绝概率已经足够触发最激进的行动，有人认为这个概率在可接受的范围内。这本身就应该提示外部观察者：简单的”AI很危险，应该停止”或者”AI很有益，应该加速”都不是对现实的准确描述。真实的图景更复杂，更充满矛盾，而且专家内部也高度分歧。

第四，关注结构性变化，而不只是个人表态。这一周里最重要的新闻，不是某个研究员在X上说了什么，而是：Anthropic公开承诺允许第三方评估机构无障碍入驻；OpenAI首席科学家公开谈论RSI的风险；多家公司的CEO联合表示需要行业自律协调。这些结构性变化——无论背后的动机是真诚的还是战略性的——在一定程度上改变了行业的游戏规则。更重要的是，这里其实包含了一个解决内部悖论的路径：如果个人内部声音无法改变机构行为，外部的独立监督——第三方评估、政府监管、公民社会压力——可能是唯一的结构性出路。Amodei的嵌入式评估员提案，本质上是在承认内部人员的自我约束是不够的，需要外部力量来打破这个困境。关注这些变化如何落实，比关注任何一句个人表态都更有意义。

Hubinger的”10%”到底意味着什么

在这一周里，Evan Hubinger的那句”超过10%的概率”是被引用最多的一句话。

这个数字值得单独讨论，因为它非常容易被误解。

10%是一个非常大的风险——对于一个”人类灭绝”量级的事件来说，哪怕是0.1%都应该引起极度重视，何况10%。但同时，10%也意味着”90%的概率不会发生”，而且这个判断里包含了大量的不确定性。

更重要的是：这是个人的主观判断，不是通过系统性研究得出的概率估计。Hubinger是一位经验丰富的AI安全研究员，他的判断有其信息基础，但不是精算风险评估。不同的顶尖研究者会给出非常不同的概率估计：一些人认为灭绝风险几乎为零，一些人认为超过50%。这种分歧本身说明了这个领域的知识不确定性有多高。

把它当成”我们有10%的概率会灭绝，所以现在就应该做X”的确定性依据来使用，会产生错误的推断。更准确的理解是：这反映了一位具有深度专业知识的人认为这个风险是真实的、是高度不确定的、并且需要认真应对——但”如何应对”这件事本身，正是整个争论的核心，没有简单答案。

一个周末之后的现实

这一周的噪音很大。

Coxon辞职，记者们开始打电话。Hubinger的X帖子被截图，开始流传。”10%灭绝概率”成为了标题党的完美素材。到了周末，Amodei发文，Altman和Musk表态支持，叙事到达了高点。

然后是沉默。新的一周开始，大多数人回到工作岗位，AI模型继续在被训练，GPU在继续运行，代码在继续被提交。

周一早上，Anthropic发布了一个新的Claude功能更新。

这不是在嘲讽。这就是现实的样子：剧烈的话语风暴之后，结构性的东西移动得非常慢。Amodei承诺的第三方评估嵌入，需要几个月才能真正落地。任何行业协调协议，需要多家公司的谈判和妥协。监管框架，需要立法机构的时间和政治意愿。这些进展都是真实的，但都是在周与月的时间尺度上发生，而不是在一周的叙事风暴中完成。

那些真诚担忧的研究员，继续在办公室里工作，继续思考对齐问题，继续做他们认为能减少风险的事情。这不是虚伪，这就是人类在面对复杂系统性风险时的工作方式——小步前进，在不确定中保持行动。

而Coxon，他的辞职信现在还挂在网上，成为这一周AI历史的一部分。他的离开是否改变了任何事情，在这个时间节点上还无法判断。但它提出了一个问题，这个问题将在未来很长时间里继续被讨论：在你相信自己参与的事情可能造成灾难性后果的情况下，留下来继续工作，是道义还是怯懦？继续参与是减少伤害，还是为伤害提供了掩护？

没有标准答案。这就是为什么这件事让人不舒服——它照见了我们在面对真正困难的道德困境时的模糊与真实，以及人类在面对自己创造的危险时所展现出的那种复杂的、不完美的、真实的样子。如果你的工作是建造一件可能改变人类命运的东西，你是继续做，还是停下来？这个问题，不只是AI行业的问题，它是每个时代的人类在技术加速期必须面对的命题。只是这一次，时间窗口可能比以往任何一次都要短。

参考来源:

  1. ‘Extinction’ warnings ramp up as more OpenAI, Anthropic researchers join calls for an AI slowdown — CNBC, 2026-09-10. cnbc.com
  2. Anthropic and OpenAI employees speak out about humanity’s extinction as debate reaches fever pitch — Business Insider, 2026-09-10. businessinsider.com
  3. An Anthropic researcher just quit, saying OpenAI and Anthropic are ‘gambling with our lives’ — MSN, 2026-09-09. msn.com
  4. AI CEOs demand industry ‘slow the pace’ of advancements — MSN, 2026-09-12. msn.com