2026年9月11日，美国发生了一件将来可能在AI历史教科书上留下注脚的事情，但当天它几乎被淹没在滚滚而来的科技新闻浪潮里。这一天，美国总统唐纳德·特朗普公开表示他不担心AI会导致人类灭绝，把这类担忧描述为过度反应，认为相关研究员们想太多了。同一天，来自Anthropic和OpenAI的超过12名内部研究员联署或分别公开呼吁AI开发应当放缓，因为风险是真实存在的，且正在以比预期更快的速度积累。

两件事同时发生在同一个新闻周期里，没有任何调解机制，没有制度化的对话平台，没有任何现有机制能把这两种声音连接在一起转化为具有约束力的政策。这两件事并列出现，构成了一幅清晰的时代图景：一边是技术权威人士在内部已经开始感到恐惧，另一边是政治权威在用直觉和选举逻辑处理这种恐惧。两者之间没有桥梁，没有中间地带，没有可以将技术判断转化为政策行动的制度通道。

这不是一篇关于AI是否会灭绝人类的文章——这个问题目前没有任何人能给出确定性答案，包括那些正在建造前沿模型的人。这是一篇关于另一个更紧迫问题的文章：当我们对这种不确定性的社会性回应方式本身出了问题，当民主制度的信号处理机制在面对指数级技术风险时开始系统性地失效，我们应该怎么理解这个局面，又能做些什么？

一、12名研究员和一位总统：完整的事件还原

2026年9月9日，Anthropic的AI安全研究员Jacob Coxon辞职，并随即发表了一篇措辞相当强烈的公开声明，其核心论点是：Anthropic和OpenAI正在拿我们的生命赌博。他具体指出，递归自我改进（Recursive Self-Improvement，RSI）的技术迹象已经在内部数据中出现，而公司领导层在明知这一点的情况下依然选择加速发展——这在他看来是道德上不可接受的选择，他无法继续在这个环境中工作。

Coxon的辞职并非孤立事件。就在此之前，另一位离职研究员Rafi Ayub也公开表达了对AI方向的担忧，尽管他与Coxon在风险的具体性质上存在分歧：Coxon担心的是物理上的生存威胁，而Ayub担心的是AI对社区结构、人际连接和批判性思维的慢性侵蚀。Ayub明确说Coxon关注的方向是错的，真正的危险不是戏剧性的终结，而是悄然侵蚀的去人化过程——这两位从同一家公司离职的研究员，甚至在”什么是真正的AI风险”这个问题上也无法达成共识，这本身就很说明问题。

在Coxon辞职后的48小时内，超过12名Anthropic和OpenAI的现任或前任员工通过不同渠道跟进，表达了不同程度的相似担忧。其中最具分量的是Anthropic对齐负责人Evan Hubinger——他在X上直接写道，他认为在未来10年内AI有超过10%的概率杀死所有人类。他特别说明，他担心的核心不是AI主动选择作恶，而是RSI触发失控性的能力螺旋。他的原话是：”我担心的是超级智能通过递归自我改进而出现，正如我们所说，这正在以比预想更快的速度发生。”

OpenAI首席科学家Jakub Pachocki的表态同样值得注意。他没有直接讨论概率数字，但他表示”没有人为机器智能持续快速上升的后果做好准备”。这句话来自一个帮助构建这些系统的人，其分量不言而喻：如果连构建者本人都说没有准备好，旁观者有理由认为这个问题值得严肃对待，而不是用技术乐观主义的惯性来消解它。

两天后，2026年9月11日，特朗普在一次公开场合被记者问及这些科学家警告的看法。他的回应大意是：这些研究员过虑了，AI是巨大的经济机会，他不担心这些末日场景。这就是事件的基本轮廓：研究员们在内部经历了某些东西，认为有道德义务公开表达，而国家的最高决策者把这些担忧归结为个人过度焦虑。两者之间没有对话，没有中间地带，没有制度性的接驳。在一个健康运转的系统里，这两种声音应该能够在某个公开的机构平台上相遇并展开有约束力的辩论，但这样的平台目前不存在。

二、RSI的真实技术状态：我们究竟站在哪里？

在进入更宏观的分析之前，有必要解释清楚RSI到底是什么，因为这是整场讨论的技术基础，也是大多数媒体报道含糊其辞或耸人听闻化处理的地方。递归自我改进指的是AI系统参与改进生成其后继者的过程。更具体地说，当AI被用来写代码、找bug、提出架构改进方案，而这些工作的部分内容是在改进AI训练系统本身时，就存在了RSI的种子。这不是科幻场景，它以不同的程度和形式正在发生。

以下是可以公开引用的确定性事实，来自Anthropic自己的官方声明，不是研究员的个人观点。Anthropic在2026年6月的X帖子中写道：”我们的内部数据显示，Claude正在加速AI开发——这是通向递归自我改进的可能路径，且正在以比我们预想更快的速度发生，这个趋势的影响值得更多关注。”注意这是Anthropic作为机构发出的声明，不是某个担忧的员工的个人表述。

在2026年8月的一篇博客中，Anthropic写道其工程师平均每季度的代码产出是2021-2025年期间平均水平的8倍。它明确说明这部分是因为Claude在帮助工程师写代码，形成了一个人与AI协同加速的正反馈循环。8倍这个数字是惊人的，它意味着AI已经在真实的高强度工程工作中显示出了实质性的生产力放大效应，而这种效应正在被应用于AI开发本身。

卡内基梅隆大学计算机科学教授Vincent Conitzer对CNBC表示：”AI已经到了可以引入一些新想法的水平，所以很难预测这个过程会在什么时候停止。”这是中立学术界的声音，不来自有商业利益的公司，也不来自已经辞职的前员工，它来自一个可以相对客观地观察这个进程的外部研究者。它的含义是：从技术上说，我们无法为这个过程的终止设定一个清晰的边界，这种不可预测性本身就是一个需要认真对待的信号。

Anthropic在其官方框架文件中列出了三种未来情景：人类保持控制（认为可能性最高）、AI和人类共同繁荣、AI失控接管（认为可能性最低但不为零）。对于对齐问题能否在有限时间内解决，Anthropic自己的表述是”最不确定”。这不是末日论述，而是工程意义上的诚实表述：尾部风险存在，控制机制尚未与能力增速匹配，而且两者之间的差距可能还在扩大。

这个技术图景放在全球AI竞赛的背景下更令人不安。中国的AI资本开支在2026年二季度同比增长了105%，美国的主要实验室在激烈竞争中都没有减速的空间。在这种环境下，单方面放缓是在政治上和商业上都代价极高的选择——即使认为风险严重的研究员也承认这一点。这是RSI担忧的真正困境：它不只是一个技术问题，而是一个被嵌入了竞争结构的技术问题，竞争结构几乎必然会压倒谨慎原则，除非有某种外部机制能够同步协调各方的行动。

三、Anthropic还在监控批评自己的人：一个值得单独讨论的权力问题

就在同一周，另一条新闻让整个图景变得更加复杂，也更加令人不安。调查记者Daniel Boguslaw在进步主义媒体《美国展望》（The American Prospect）发表了一篇调查报道，详细描述了Anthropic内部安全团队的监控操作：公司的安全官员正在追踪批评AI快速发展的活动人士，并将他们的信息主动报告给当地警察局，理由是预防性地捕捉升级模式。这是基于岗位招聘文件、内部文件以及对Anthropic前安全官员的采访得出的结论，不是推测或未经证实的指控。

Anthropic在X上发布的”企业情报专家”岗位招聘描述列出的职责包括：识别、追踪和调查”全球威胁，包括地缘政治不稳定、恐怖主义、犯罪、激进主义、针对AI行业的国家行为者……”注意那个词：激进主义（activism）。这个词通常指的是通过合法手段表达政治立场的公民行为，不是犯罪行为，但它出现在一份安全岗位职责描述中，与恐怖主义并列出现在同一个清单里。

Anthropic对CNET的回应是，这是标准的物理安全操作，目的是保护全球员工安全，与任何拥有全球员工的大型公司做法相同，报道的标题和框架都是不准确的。这个解释本身并非没有道理：一家全球知名的、在AI监管辩论中处于中心位置的公司，确实面临真实的安全威胁，需要保护员工安全。但这个解释同时回避了一个更深层的问题：当保护员工安全的操作扩展到追踪和报告持有政治异见的普通公民时，这条线应该在哪里划定？谁有权力来划这条线？谁来监督这个权力的行使？

这件事在AI治理视角下揭示了一种重要的权力结构：建造可能深刻改变人类命运的技术的公司，同时也拥有追踪和报告批评这种改变的人的能力和意愿。即使这种监控完全合法且出于善意，这种权力的存在本身就是一个值得公众关注的事实。在一个AI能力快速扩张的时代，能够实施监控的机构本身已经成为一种重要的权力形态，它的边界需要比现在更多的公开讨论，而不是被包装成例行安全操作悄悄进行。

值得特别注意的是，这一切都发生在Anthropic与五角大楼关系微妙的背景下。报道显示，Anthropic因拒绝为某些军事自主武器应用提供AI服务而失去了多个政府合同，但就在这件事报道的同一周，美国商务部长Howard Lutnick表示Anthropic已经回到了正确的立场，而五角大楼官员仍将其列为供应链风险。Anthropic正同时处于多向压力的交汇点：来自内部员工的安全压力、来自投资者的商业压力、来自政府客户的合规压力，以及来自公众的透明度压力。公司在这种多重压力下的一系列选择——包括监控潜在批评者、积极游说监管立法、内部员工却同时公开发声——放在一起构成了一幅值得仔细审视的全景图。

四、为什么特朗普的回应在结构上是合理的——这才是真正的问题

让我在这里做一个可能让一些读者不舒服的论断：特朗普对AI灭绝风险的轻描淡写，在政治逻辑上是理性的。这不是在为他辩护，也不是在说他是对的，而是在指出一个结构性问题：民主制度在面对高度不确定、需要深度专业知识才能评估的技术风险时，政客的理性选择几乎必然是采取默认的直觉立场，而这个直觉在美国政治语境中几乎一定是技术乐观主义。

在美国政治中，技术乐观主义加不干预主义是票仓最安全的位置。AI开发带来就业、带来投资、带来国际竞争优势——这些都是可以被选民感知的具体好处，可以出现在竞选广告里、体现在就业数据上、让政客在镜头前显得英明果断。而”AI可能以低于10%的概率在10年内灭绝人类”是一个几乎无法被普通选民评估或感受到的抽象风险，它的代价是隐形的，它的危害是不可预测的，没有选民会因为一个政客支持AI安全法规而在下次选举中给他投票，但很多选民会因为他的立场阻碍了AI经济而不投他的票。

民主政治有一个内置的时间偏差：它奖励解决当下可感知问题的政客，惩罚为看不见的长期风险支付可见成本的政客。这个偏差在应对气候变化时已经展示得淋漓尽致——即使几乎所有气候科学家都认为风险是真实的，政治行动依然缓慢、充满争议，经常被短期经济利益压倒。AI治理面临相同的结构性困境，而且还多了一层复杂性：AI风险的不确定性比气候变化更高，评估机制比气候科学界更不成熟，商业利益与政策的交织更加直接，评估窗口期可能比气候变化更短。

特朗普的表态是这个结构性偏差的直接产物。更令人担忧的不是他说了什么，而是这件事背后的机制：当行政权力的最高代表拒绝接收这类风险信号，立法和监管体系就失去了向上升级的政治空间，原本可能触发政策讨论的信号就被消化在媒体周期里，下周会被新的新闻覆盖，这轮担忧就这样沉没在信息洪流中，什么都没有改变。

值得注意的是，同一周还发生了一件事：加利福尼亚州州长Newsom签署了多项AI安全法案，这些法案据报道得到了Anthropic和OpenAI两家公司的明确背书。这产生了一个表面上奇怪的局面：AI公司的内部研究员警告风险要求放缓，AI公司作为机构却在积极游说推动特定形式的监管立法，联邦政府最高领导层说不担心风险，而加州州长签署了这些公司参与起草的监管框架。这不是矛盾，这是多层次政治博弈的正常状态。通过积极参与甚至推动监管的制定，AI公司可以确保监管框架不会对自身造成根本性威胁，同时这种负责任的姿态还能为它们提供品牌红利。这是一种对监管先发优势的经典争夺，值得理解但也值得保持清醒。

五、缺失的制度基础设施：我们需要什么还没有的东西

最终，2026年9月11日这一天展示出来的不是特朗普的无知，也不是AI公司的虚伪，而是一个深层的制度性缺口：我们没有适合这种风险类型的信号处理系统。更准确地说，这种系统还没有被建立起来，而且目前也没有足够的政治意愿去建立它。

气候变化有IPCC——一个独立于各国政府和产业界的科学委员会，几十年积累了数千名科学家的共识，有明确的方法论和评估流程，产出有广泛公信力的周期性报告，这些报告被翻译成政策建议并进入国际谈判框架。这个体系不完美，但它存在，它有制度合法性，它能够让技术共识转化为政治考量的基础。

前沿AI的安全性研究者人数极少，大多数集中在少数几家具有直接商业利益的公司内部，政府没有独立评估前沿AI安全风险的技术能力，学术界的反应速度远慢于技术发展速度，而且也无法获取最重要的内部数据。这意味着：Evan Hubinger在X上说有10%概率AI会杀死人类，和特朗普说他不担心，在认知论上处于几乎对等的位置——两者都没有权威的制度背书。Hubinger比特朗普更了解技术细节，但他没有一个独立于商业利益之外的评估机构来验证和放大他的警告信号。在缺乏权威制度背书的情况下，政治直觉在公众领域的传播力往往强过技术专业意见，这是一个令人沮丧但真实的社会认知现实。

我们需要的是：一个独立于AI开发者和政治压力之外的、有实际技术能力的、被广泛信任的第三方评估体系。这个机构需要同时解决三个核心矛盾：评估前沿AI安全风险需要访问内部数据，而这些数据掌握在商业公司手中；评估机构的资金来源必须与AI开发者的商业利益隔离；评估结论必须能够以政策决策者可以理解的方式呈现，同时不失去技术准确性。目前全球还没有一个机构同时满足这三个条件。AI安全峰会在英国、首尔、巴黎多次召开，但主要产出是声明和框架协议，没有常设的、有技术实力的独立评估机构被建立起来。

六、三个值得持续追踪的问题

在这篇文章接近尾声时，有三个没有简单答案但值得在接下来几年持续追踪的问题。

第一个问题是AI风险的制度化评估机制何时能够建立，以及建立的路径是什么。独立于AI开发者的风险评估机构的建立，在政治上面临巨大阻力——因为AI公司不希望一个它们无法影响的机构有权力对其产品安全性做出官方评估，政府不想为一个可能发出烦人信号的机构提供经费，而大多数公众并不关心这个问题。那么，这类机构的建立需要什么条件触发？是需要等到一个真实的重大AI安全事故，还是有可能在事故发生之前就建立起来？

第二个问题是研究员的公开辞职能否累积成真正的政策压力，以及什么样的机制可以将个体行为转化为集体影响力。Jacob Coxon的辞职引发了大量媒体关注，但它改变了什么政策？如果政策层面的默认反应是”一些研究员过虑了”，那么这些公开行为的实际影响力有多大？是否存在某种组织形式，能够让这类担忧在制度层面产生更大的杠杆效应？

第三个问题是监控AI批评者这件事的边界在哪里，以及谁来监督这个边界。CNET报道的那件事——Anthropic追踪批评AI的活动人士并向警察报告——可能比RSI本身更直接地反映了我们现在的权力处境。当商业公司的安全团队开始追踪并报告公民的政治活动时，需要哪些现有法律来规制这种行为？目前的答案是不确定的。随着AI公司规模的增长，它们的安全基础设施的规模也会增长，这个问题会变得越来越重要。

结语：不是关于末日，而是关于治理能力本身

这篇文章不想煽动末日焦虑，也不想否认AI技术带来的真实好处和机会。写这篇文章想指出的是一个更朴素的事实：在一个快速演化的高风险领域里，一个社会是否有能力把内部的不安全感转化为有效的集体对话和制度性回应，是这个社会治理能力的一个直接体现。

2026年9月11日，这种能力看起来是缺失的。特朗普的”我不担心”不是这个问题的根源，而是一面镜子：它告诉我们，即使内部专家已经开始发出警报，即使公司自己承认风险正在以比预想更快的速度积累，民主制度的输入端——最高权力者的认知——依然可以停留在”这不是问题”的位置。当这个输入关闭，整个监管响应系统都会因为缺乏政治引力而停滞，无法启动。

我们不需要同意AI灭绝风险是真实的，才能认同一个更基础的事情：对于一个可能深刻改变人类未来的技术，我们应该建立比现在更好的对话和评估机制，这个机制应该独立于商业利益之外，应该有足够的技术能力，应该有将技术判断转化为政策行动的制度通道。这是一个比”AI会不会灭绝人类”更容易达成的共识起点，而且它现在就可以开始建设，不需要等待学术界对灭绝概率达成共识，也不需要等待政治风向改变。问题只是：有没有人足够认真地想要建设它。

参考资料

  1. CNBC, “Why fears of AI self-improvement are causing ‘existential’ concerns at Anthropic and OpenAI” (2026-09-11): https://www.cnbc.com/2026/09/11/anthropic-openai-ai-existential-concerns.html
  2. Baltimore Sun, “Few dispute Anthropic researcher’s warning that AI poses a threat to humans” (2026-09-11): https://www.baltimoresun.com/2026/09/11/few-dispute-anthropic-researchers-warning-that-ai-poses-a-threat-to-humans/
  3. CNET, “Have You Protested AI Recently? Anthropic May Be Watching You for Precrimes” (2026-09-11): https://www.cnet.com/tech/services-and-software/have-you-protested-ai-recently-anthropic-may-be-watching-you-for-precrimes/
  4. The American Prospect, Daniel Boguslaw报道 (2026-09-09): https://prospect.org/2026/09/09/anthropic-artificial-intelligence-surveillance-system-monitor-activists/
  5. Reuters/MSN, “Trump dismisses AI extinction risks” (2026-09-11): https://www.msn.com/en-us/money/news/trump-dismisses-ai-extinction-risks-as-more-than-a-dozen-openai-anthropic-insiders-call-for-a-slowdown/ar-AA2c3BMx