引言：1.5亿次查看的辞职帖背后，真正的技术恐惧是什么

2026年9月9日，一个X帖子在48小时内积累了1.5亿次查看。

发帖者是Jacob Coxon，Anthropic前AI安全研究员，曾在OpenAI工作过。他写道：AI公司的研究人员”真诚地相信AI可能在十年内杀死我们所有人”，而他已经辞职，因为他无法继续参与这场他认为”在用我们的生命赌博”的竞赛。

媒体迅速将这个故事框架为”另一个离职AI研究员发出末日警告”。这是一个熟悉的叙事：AI公司员工辞职、公开发声、媒体报道、公众一时恐慌、然后逐渐遗忘。

但这次有所不同。

Jacob辞职后的第二天，据CNBC报道，Anthropic对齐研究员Evan Hubinger（CNBC称其为Anthropic对齐负责人）在X上表示，他认为AI在未来十年内有超过10%的概率”杀死所有人类”。几小时后，OpenAI首席科学家Jakub Pachocki在公司博客发文，警告”没有人为机器智能持续快速上升的后果做好准备”。到了周末，两家公司内部多名研究员公开发声，话题标签在AI研究社区刷屏。

这不再是一个人的警告。这是一场内部共振。

而他们真正在谈论的，不是模糊的”AI很危险”。他们谈论的是一个具体的技术现象：递归自我改进（Recursive Self-Improvement，RSI）。

理解RSI，才能理解这场恐慌的真实逻辑。

第一部分：什么是递归自我改进——它为什么比”超级AI”更让研究员紧张

“超级AI”这个词本身就让严肃的技术讨论陷入困境。它太宏大、太模糊，让人联想到科幻电影而非工程现实。

RSI则完全不同。它是一个可描述的、可测量的、正在发生的工程过程。

RSI的技术定义

RSI是指AI系统参与改进未来AI系统开发流程的循环。当AI帮助研究人员写更好的代码、分析更多的实验数据、设计更有效的训练方法，下一代AI系统就会更强——而更强的AI又能更有效地参与这个过程。

这不是二元的”AI突然变得有意识”，而是一个连续的、渐进的、可能指数级加速的过程。

Evan Hubinger的核心担忧正在于此：不是AI会突然”觉醒”，而是这个正反馈循环会在某个点超出人类的管理边界，并且没有人知道那个点在哪里。

已经发生了多少

这不是假设。Anthropic和OpenAI都已经在内部文件中记录了RSI的早期迹象：

Anthropic的数据（2026年6月X帖子）：

  • 内部数据显示Claude正在加速AI开发
  • Anthropic工程师平均每季度的代码产出，是2021-2025年均值的8倍
  • 这个加速正在发生，”比我们预想的更快”

OpenAI的数据（Jakub Pachocki博客，2026年9月11日）：

  • “如果AI开发沿当前路径继续，未来几年的系统很可能代表同等或更大幅度的能力跃升”
  • “AI系统将越来越多地驱动自身的开发”

Anthropic八月的RSI博客：

  • 对RSI的三种未来情景分析：人类保持控制、人类逐渐失去控制、AI完全接管
  • Anthropic认为”人类保持控制”最可能，但对齐问题能否解决”最不确定”

这些不是研究员在黑板上写下的数学公式。这是两家世界最顶尖AI实验室已经观察到的内部数据。

为什么8倍代码产出让人担忧

一个不了解这个领域的人可能会想：工程师生产效率提升8倍，难道不是好事吗？

从个体角度看，是的。从系统风险角度看，这正是问题所在。

当AI能够帮助自身的开发者产出8倍的代码，意味着AI系统的迭代速度可能已经从”人类的生物限制”中部分解耦。人类研究员的思考速度、沟通速度、理解速度都是有上限的；但如果AI承担了越来越多的”重复性工程劳动”，系统整体的进化速度就会开始超越任何单个人类团队的管控能力。

Carnegie Mellon计算机科学教授Vincent Conitzer对CNBC说：”AI已经达到了可以引入一些新想法的水平。所以很难预测在哪个点上这个过程会开始急剧加速AI能力。”

关键词是”急剧”。不是”会不会发生”，而是”在哪个点会失控”。

第二部分：这周到底发生了什么——一个时间线

为了理解这场讨论的烈度，我们需要还原一下2026年9月9日至11日之间到底发生了什么：

9月9日（周二）： Jacob Coxon在X发布辞职声明，迅速获得病毒式传播。声明核心：AI公司真诚地相信AI可能造成人类灭绝，但仍在全速推进。

9月9日至10日： 多名Anthropic和OpenAI员工在社交媒体表态，支持或回应Coxon的观点。

9月10日（周四）： Anthropic对齐负责人Evan Hubinger在X正式发言，明确表示自己认为AI在十年内杀死所有人的概率超过10%。他在同帖回复中指出，他的具体担忧是RSI。

9月10日： 多名研究员发帖，包括：

  • Jasmine Wang（OpenAI，对齐方向）：”很难夸大快速推进RSI有多危险”
  • Anna Wang（Anthropic，AGI安全）：”目前没有可行的科学计划来解决递归自我改进AI带来的风险”

9月11日（周五）： CNBC发表长篇报道，整理这一周的讨论，确认RSI是这场担忧的技术核心。

同一天： OpenAI首席科学家Jakub Pachocki在博客发文，正式承认AI能力快速上升的后果没有人准备好。

同一天： CNBC另一篇报道：20多名国会议员本周致电，寻求AI监管立法行动。

从一名研究员的辞职帖，到全国性政治议题，整个过程只用了72小时。

第三部分：三种未来情景——Anthropic自己怎么想

据CNBC报道，Anthropic在其RSI博客中描述了三种未来情景，值得逐一审视：

情景一：人类保持控制（Anthropic认为最可能）

在这个情景中，对齐研究赶上了能力发展的速度。AI系统变得越来越强大，但始终在人类设定的边界内运作。RSI虽然存在，但被人类主导的监督层所约束。

乐观的理由：Anthropic、OpenAI、Google DeepMind等顶级机构投入大量资源研究对齐问题。如果能力和对齐能够协同发展，RSI会成为良性循环：AI帮助人类更快解决对齐难题，让更安全的AI出现。

悲观的问题：能力发展是市场驱动的，有明确的商业激励（更强的模型卖更高的价格）；对齐研究是知识驱动的，没有直接的商业产出。在资源竞争中，能力研究天然有优势。

情景二：人类逐渐失去控制

在这个情景中，AI能力发展超越了对齐研究的速度，在某个点上，人类对AI决策过程的理解开始系统性地落后于AI自身的能力。

这不意味着AI”选择”伤害人类。更可能的路径是：AI做出的决策越来越难以被人类验证；人类开始基于信任而不是理解来依赖AI判断；信任被误用，但没有足够的纠错机制。

如果这个情景成立，其开始的标志不会是一个戏剧性的事件，而是一系列看似合理的、个别的、可辩护的”效率决策”的积累。

情景三：AI完全接管（Anthropic认为最不可能，但不可忽略）

这是好莱坞版本，也是最难认真讨论的情景。Anthropic在博客中承认将其列入考量，但认为这是三种情景中可能性最低的。

原因不是因为技术上不可能，而是因为路径更长、需要的能力跃升更多。在到达”完全接管”之前，情景二的过程性信号会更明显，有更多机会介入和纠正。

第四部分：一个难以承认的paradox——AI安全正在加速AI发展

这一周的讨论中，有一个层面几乎没有被主流媒体触及，但对于真正理解这个问题至关重要。

AI安全研究和AI能力发展，是同一件事的两面。

当Anthropic研究员开发更好的对齐技术，他们实际上是在让AI系统更可靠、更可预测、更能在复杂任务中自主工作。一个更安全的AI，通常意味着一个更能被大规模部署的AI。

大规模部署意味着更多的使用数据、更多的反馈循环、更快的迭代速度——这正是RSI的燃料。

这创造了一个令人不安的逻辑：

  • 更好的对齐研究 → 更安全的AI
  • 更安全的AI → 更广泛的部署（因为”足够安全”的AI才能大规模商用）
  • 更广泛的部署 → 更多RSI触发的数据和算力（数百万企业客户的使用产生海量反馈，这些数据反哺下一代模型训练；更大的商业成功意味着更多可用于训练新模型的算力预算）
  • 更多RSI → 更强但也可能更难对齐的AI（能力更强的模型，其内部机制更难被人类理解和解释）
  • 更难对齐的AI → 需要更好的对齐研究

每一步都是清晰的工程逻辑，但将它们串联在一起，就得到了一个每个人都参与其中但没有人完全控制的系统动力学。

这不是循环论证，而是一个真实的反馈回路。Anthropic工程师代码产出8倍，既是AI安全工作推进的结果（更可靠的代码辅助工具），也是RSI风险上升的证据（AI能力的快速扩张）。

Evan Hubinger在X的回复中实际上触及了这一点，但措辞相对温和：他的担忧集中于”RSI来自递归式改进，已经比我们预想的更快发生”。他没有明说的是：这个”更快”的部分原因，正是安全研究工作本身。

第五部分：国会议员的电话——政治层面的接收

CNBC记者Elizabeth Schulze在2026年9月11日报道，本周20多名国会议员向她透露了希望推进AI监管立法的意向。其中有两个细节值得注意：

第一，这是两党的。Rep. Nathaniel Moran（德克萨斯州共和党）在X上写道：”AI是强大的创新引擎，我们需要它繁荣。但国会不能忽视AI的现实和潜在风险。” Rep. Lori Trahan（马萨诸塞州民主党）说支持已达到”临界点”，”我的电话这周响个不停，排名靠后的民主党和共和党人都希望看到行动。”

第二，这个时机。距离11月中期选举只有不到两个月。

根据Pew Research Center在2026年8月进行的一项调查（3488名成年人，6月22日至28日），52%的美国人对AI在日常生活中的应用”比兴奋更担忧”，这一比例在2021年还只有37%。在midterms选举前，这个数字对于任何一位国会议员都意味着选票压力。

Trahan和Rep. Jay Obernolte（加利福尼亚州共和党）已在7月联合提出了”Frontier Act”立法草案。在这次AI安全波中，这个草案有可能获得更多的政治支持。

但政策的速度通常落后于技术。一项真正有实质内容的AI监管法规，从提案到通过，往往需要多年时间和无数次的利益博弈。而AI能力发展的时间表，由市场和算力决定，不由立法程序决定。

第六部分：这不是第一次——但这次可能不一样

AI末日警告并非新鲜事。从2015年Elon Musk和Stephen Hawking签署公开信，到2023年”暂停巨型AI实验”联署，到Geoffrey Hinton离开Google后的公开发声，类似的警告一再出现，一再引发媒体报道，然后逐渐沉入背景噪音。

为什么这次可能不一样？

原因一：来源的位置不同。 以前的警告者大多是外部评论者（马斯克已经离开OpenAI），或已离职的研究员，或与当前主流实验室有距离的学者。这次是Anthropic的现任对齐负责人、OpenAI的现任首席科学家，在职期间公开表态。

原因二：数字不是模糊的预感，而是内部数据。 “代码产出8倍”不是定性描述，是Anthropic内部测量的指标，由官方账号公开发布。这让讨论从”可能会怎样”变成”已经是怎样”。

原因三：时间窗口在缩短。 2015年的讨论预设”超级AI还有20-50年”。2026年的讨论来自于RSI迹象已在发生的背景。从”遥远的未来”到”正在发生的过程”，这个范式转变是实质性的。

原因四：政治接收已经形成。 midterms前的52%公众担忧率，加上两党国会议员的介入，让这次讨论有了真实的政策落地可能。以前的警告大多停留在学术和技术层面；这次已经进入了政治议程。

第七部分：没有答案的三个核心问题

最后，诚实地说，这篇文章无法给出”怎么解决这个问题”的答案，因为没有人知道。但有三个核心问题，任何认真对待这个话题的人都需要直面：

问题一：RSI的临界点在哪里？

当AI能力到达什么程度，RSI的速度就会超过人类的管控能力？目前的技术路径上，没有人能画出这条线。Anthropic和OpenAI都承认他们不知道。这不是谦虚，这是诚实。

问题二：对齐研究能追上能力发展吗？

理论上可以，实践中困难。能力研究有直接的商业价值；对齐研究是一种保险，没有直接的产品收益。在一个以盈利为核心激励的行业中，这个资源分配的不均衡很难被纯粹的工程意志所克服。

问题三：谁来做最终裁定？

即使监管到位，谁来决定一个AI系统”足够安全”可以被部署？目前各国的监管框架还在原则层面争论，技术核实标准远未建立。在技术标准清晰之前，”足够安全”会是一个被各方利益竞相解读的概念。

结语：工程现实，不是科幻情节

回到开篇的问题：RSI是末日预言，还是工程现实？

答案是：它已经是工程现实，但末日预言这个框架让大多数人以为可以继续忽略它。

Anthropic工程师代码产出8倍，这是可测量的数字。AI系统参与自身迭代开发过程，这是两家顶级实验室内部的工程事实。这些数字的斜率，以及这个斜率背后的逻辑，是当前世界上最聪明的一群人正在认真担忧的东西。

他们担忧的不是科幻里的”觉醒AI”。他们担忧的是一个正反馈循环，在某个点上，会超出任何人类组织形式的管控能力——包括政府、公司、和研究机构。

Jacob Coxon辞职了。Evan Hubinger还在。

两人都在告诉我们同一件事，只是选择了不同的方式。

而OpenAI首席科学家Jakub Pachocki的那句话，可能是这一周里最值得反复思考的话：

“没有人为机器智能持续快速上升的后果做好准备。”

这是一家价值8520亿美元公司的首席科学家，在公司官方博客上说的话。

参考资料

  1. CNBC: “Why fears of AI self-improvement are causing ‘existential’ concerns at Anthropic and OpenAI” (2026-09-11) - https://www.cnbc.com/2026/09/11/anthropic-openai-ai-existential-concerns.html
  2. CNBC: “AI regulation calls grow in DC after researcher’s extinction warning” (2026-09-11) - https://www.cnbc.com/2026/09/11/ai-regulation-anthropic-researcher-extinction-warning.html
  3. Anthropic官方X帖子 (2026年6月): “内部数据显示Claude正在加速AI开发——一条通往递归自我改进的可能路径”
  4. Pew Research Center: “Young Adults in the U.S. Are Increasingly Wary of AI” (2026-08-18) - https://www.pewresearch.org/short-reads/2026/08/18/young-adults-in-the-us-are-increasingly-wary-of-ai-concerned-it-will-take-jobs/
  5. Jacob Coxon: X帖子 (2026-09-09) - https://x.com/hilbertspaess/status/2097476196791709843
  6. Jakub Pachocki: OpenAI官方博客 (2026-09-11)