MATH-500 得分从 7.9% 到 48.1%，Qwen3.5-0.8B 的数学能力看上去被拉高了近 6 倍。代价是什么？没有梯度下降，没有反向传播，没有 Adam 或 Muon，只是让 OpenAI 的 GPT-6 Astra 阅读 Qwen 的原始权重数值，借助 Python 环境和前向传递定位到第 15 层和第 19 层 MLP 中导致推理重复循环的方向，然后在总计约 131,072 个权重——占模型全部参数的约 0.016%——上做了一次精准手术。

MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 在 2026 年 11 月 2 日发布的博客中，将这套方法命名为「Weight-Space Programming」（权重空间编程）。他们的核心主张是：前沿 LLM 对神经网络权重具备超出预期的原生读写能力，这种能力可能同时改变优化和可解释性的游戏规则。VentureBeat 同日报道将其比喻为「神经网络的基因编辑」。

这是一个足够醒目的标题数字。但在拆解三组实验的具体设计和结果之后，真实含金量——以及被过度解读的风险——都会变得更加清晰。

实验 1：仅看权重数值，判断网络在做什么

第 1 组实验测试的是最基础的能力：LLM 能否仅从原始权重中「读出」一个网络的训练目标？

据 MIT CSAIL 博客描述，研究团队训练了 4 个结构完全相同的小型网络，分别用于 4 款不同的游戏。每个网络包含 17,253 个权重。他们将这些权重以纯文本形式输入 GPT-6 Astra，不提供任何关于游戏名称的提示。结果是：Astra 在所有 4 个案例中都正确识别了对应的游戏。

据 Digit 报道，Astra 之所以能做到这一点，部分原因在于不同游戏训练出的网络在权重空间中呈现出可辨识的结构特征——例如 Breakout 的网络有其独特的权重分布模式。

这个实验的含义需要谨慎解读。17,253 个权重对应的是一个极小的网络（相比之下，Qwen3.5-0.8B 拥有约 8 亿参数），而 4 个候选目标的分类任务在统计上并不苛刻。更关键的问题是：Astra 是否真正「理解」了权重的计算语义，还是主要依赖首末层权重的统计特征（如输入维度与游戏观测空间的对应关系、输出维度与动作空间的匹配）来做模式匹配？博客本身没有给出消融实验来排除这种可能性。

但即便如此，能从一堆浮点数中正确推断出训练目标，这本身已经超出了大多数人对 LLM 能力边界的预期。人类专家在没有任何上下文的情况下，面对 17,253 个原始数值，几乎不可能完成同样的任务。

实验 2：从零写出游戏网络，不需要环境反馈

第 2 组实验将难度大幅提升：Astra 能否不经过任何环境交互，仅凭对游戏规则的理解，从零写出一个可用的游戏策略网络？

据 MIT CSAIL 博客，Astra 在 3 款 MinAtar 游戏上进行了测试。博客原文称，Astra 在 Breakout 中单次响应生成的网络得分 517.4，而用 PPO 训练 5 亿步（500 million steps）的基线网络得分仅 25.3。在 Seaquest 和 Asterix 上，PPO 训练后的网络仍然胜出，竞争更为激烈。

据 Digit 报道，在 Go 9×9 上，Astra 生成的一个 150 万权重的网络超过了同等规模、经过 2000 万局对弈训练的 PPO 网络。原始来源未提供具体的胜率百分比或 Elo 差距等更细粒度的量化指标。

这组结果有两个层面需要分开看。

第 1 个层面令人印象深刻：Astra 在没有任何试错反馈的情况下，仅通过推理就写出了功能性的策略网络。这意味着它对游戏规则、状态表示和策略逻辑有足够的理解，能够将这种理解「编译」为具体的权重数值。这是一种全新的网络生成范式——直接「编程」而非迭代训练。

第 2 个层面需要打折：PPO 基线的强度存疑。PPO 在 MinAtar 这类小型环境中的表现高度依赖超参数调优和训练步数。如果换用更强的 RL 算法或更充分的调优，差距可能大幅缩小。此外，MinAtar 是简化版的 Atari 环境，状态空间和动作空间都很小，Astra 能否在更复杂的环境中保持这种优势，目前没有证据。

与实验 1 类似，这组实验也面临一个结构性问题：小型网络的权重空间是否具有某种 LLM 可以利用的低维结构？当网络规模从万级参数扩展到亿级甚至千亿级时，这种「一次性写出全部权重」的方法是否还能工作？博客没有给出明确答案，但从 Go 9×9 的 150 万参数实验来看，至少在百万级规模上仍然可行。

实验 3：不用梯度修复 Qwen 的推理死循环

第 3 组实验是整篇博客中最具实际意义的部分，也是引发最多讨论的部分。

Qwen3.5-0.8B 存在一个已知缺陷：在推理过程中容易陷入重复循环。这个问题严重到 Qwen 官方 model card 中专门做了警告。在特定的采样设置下，这种循环会严重拖累模型在数学推理任务上的表现，导致 MATH-500 得分低至 7.9%。

据 MIT CSAIL 博客，Astra 被要求在不使用梯度的情况下改善 Qwen3.5-0.8B 的数学能力。Astra 获得了一个受控的 Python 环境来检查这个更大的网络，并被允许在训练任务上进行最多 50 次前向传递来评估编辑效果。据 Digit 报道，在 10 次和 25 次前向传递时，收益并不显著。

Astra 的诊断过程本身颇具启发性：它识别出第 15 层和第 19 层 MLP 中存在导致推理循环的特定方向，然后针对性地编辑了约 131,072 个权重（占总参数的约 0.016%）来消除这些循环。编辑后，MATH-500 得分从 7.9% 跃升至 48.1%，IFEval（指令遵循评估）也提升了约 3 倍，达到 62.3%。

VentureBeat 在报道中明确指出了一个关键事实：提升主要来自修正重复推理（correcting repetitive reasoning），这一区分塑造了技术发现和围绕其含义的讨论。

这个区分至关重要。48.1% 的 MATH-500 得分并非凭空创造——它更接近于 Qwen3.5-0.8B 在没有推理循环干扰时的潜在水平被释放出来。Astra 做的更像是修复一个 bug，而非注入新能力。据 Digit 报道，Astra 未能基于权重判断 Gemma 3 270M 是否存在谄媚（sycophancy）问题，也未能提升 Gemma 3 270M 的数学能力（结果始终在 7% 附近）。编辑帮助揭示了隐藏的能力，但并不能添加新能力。

6 倍提分背后的三重质疑

将三组实验放在一起审视，至少有 3 个层面的质疑需要正视。

质疑 1：基线偏低放大了效果。 7.9% 的 MATH-500 起点本身就是异常低分。Qwen3.5-0.8B 是一个 8 亿参数的模型，在正常采样设置下的数学能力不应该只有这个水平。7.9% 反映的是推理循环在特定设置下对模型的严重拖累。从一个被缺陷严重拖累的基线出发计算提升倍数，会高估干预的实际价值。笔者未能查到 Qwen3.5-0.8B 在标准采样设置下的 MATH-500 公开基准分数，MIT CSAIL 博客和相关报道也未提供这一数据。但如果该模型在循环问题较轻的采样设置下基线已在数十个百分点的水平，那么 48.1% 的提升幅度就远没有「近 6 倍」那么震撼。

质疑 2：收益来源单一，修复缺陷而非新增能力。 这一点已经在上文详细讨论。VentureBeat 的措辞非常精确：研究者的方法仍然需要计算，在 Qwen 实验中也需要练习题和测试；它并未确立直接编辑在速度、成本或效果上能持续优于传统训练。据 Digit 报道，编辑帮助揭示隐藏能力，但不能添加新能力。这意味着权重空间编程在当前阶段更像是一种诊断和修复工具，而非通用的优化方法。

质疑 3：实验 1 和实验 2 可能依赖小型网络的结构特征。 17,253 个权重的游戏网络和 150 万权重的 Go 网络，与数十亿参数的语言模型之间存在数量级的鸿沟。小型网络的权重空间可能具有 LLM 可以利用的低维结构——例如首末层的输入输出维度直接映射到任务特征。当网络深度和宽度增加时，中间层的权重分布可能变得更加复杂和难以解读。实验 3 中 Astra 需要借助 Python 环境和前向传递来处理 Qwen3.5-0.8B，而非像实验 1 和 2 那样直接以文本形式处理权重，这本身就暗示了规模扩展的困难。

为什么这仍然是一个严肃的信号

质疑归质疑，MIT CSAIL 这组实验在两个维度上打开了真实的新空间。

可解释性维度。 如果 LLM 能够从原始权重中推断出网络的训练目标，并定位到导致特定行为缺陷的具体层和方向，这本身就构成了一种新的网络诊断范式。现有的可解释性方法——无论是探针（probing）、归因（attribution）还是机械可解释性（mechanistic interpretability）——都需要研究者预先设定假设并设计实验。权重空间编程提供了一种互补的路径：让一个足够强大的 LLM 直接「阅读」权重并报告其发现。MIT CSAIL 博客中 Astra 识别出第 15 层和第 19 层 MLP 中循环方向的过程，与人类研究者手动进行的电路分析在功能上类似，但效率可能高出数个量级。

据 VentureBeat 报道，Databricks 技术人员、Hyperbolic Labs 前联合创始人兼 CTO Yuchen Jin 在 X 上对这项研究表达了积极看法。Voyage AI 研究员、前 Microsoft AI 的 Chandan Singh 也在 X 上发表了类似的乐观评估。其中 Yuchen Jin 不隶属于该研究团队。

优化维度。 在特定场景下，不用梯度的权重编辑可能具有实用价值。据 VentureBeat 报道，MIT 团队认为这种方法可能用于审计 ML 模型中的后门、在不使用数据的情况下删除特定能力、以及在模型之间转移电路。据 Digit 报道，对于缺乏 GPU 资源的实验室和初创公司，一次简单的修复可能比完整的重训练更有价值。

但需要明确的是，VentureBeat 的措辞非常审慎：目标性的权重编辑可能减少某些改进所需的时间和计算资源，但研究者尚未确立这些节省。笔者判断，权重空间编程在短期内最可能的应用场景是模型诊断和快速修补——类似于软件工程中的 hotfix——而非替代训练和微调流程。

「递归自我改进」叙事：想象力与现实的距离

MIT CSAIL 博客的结语写道：我们的神经网络权重将很快被 LLM 原生优化，这些 LLM 会刻意推理其权重。这个预测指向一个更深远的可能性：AI 系统能改写其他 AI 系统，最终可能改写自身。

据 VentureBeat 报道，Pause AI 的 CEO Maxime Fournes 在 X 上的反应正是针对这一点——他认为成功的权重编辑可能加速危险的进展。

但从当前实验到「递归自我改进」之间，存在多个数量级的鸿沟。当前实验中，Astra 编辑的是一个比自身小得多的模型（0.8B vs. GPT-6 Astra 的规模），且编辑范围仅限于 0.016% 的权重，编辑目标是修复一个已知的、有明确症状的缺陷。要实现真正的递归自我改进，至少需要跨越以下障碍：模型需要能编辑与自身同等规模或更大的网络；编辑需要能注入新能力而非仅修复缺陷；编辑的效果需要可预测且可控。目前这 3 个条件都未满足。

笔者判断，将这项工作解读为「AI 自主进化的先兆」是过度外推。但将其解读为「LLM 对权重空间的理解能力被严重低估」则是合理的。

技术-商业交叉：谁会用，怎么用

从商业角度看，权重空间编程如果能够可靠化，最直接的受益者是模型运维和模型安全领域。

模型运维方面，当前的模型部署后修复流程通常涉及收集问题样本、设计微调数据集、运行微调训练、评估和部署。如果一个足够强大的 LLM 能够直接诊断并修复特定缺陷，这个流程可能被大幅压缩。据 VentureBeat 报道，MIT 团队设想的工作流程是：开发者描述一个故障，要求 AI 助手调查模型的实现、识别原因并提出补丁。这仍然是潜在的工作流程而非已建立的商业能力，但方向是清晰的。

模型安全方面，审计模型中的后门或不良行为是一个日益重要的需求。如果 LLM 能够通过阅读权重来检测可疑的电路或行为模式，这可能为模型审计提供一种新工具。但同样需要注意，当前实验中 Astra 未能成功诊断 Gemma 3 270M 的谄媚问题，说明这种能力远非通用。

从竞争格局看，这项工作依赖于 GPT-6 Astra 级别的前沿模型能力。据 AWS 11 月 2 日的周报，GPT-6.1 Terra 在 OpenAI 的 Agents’ Last Exam 评估中比 GPT-5.6 Terra 高出 15 个百分点，与 GPT-6 Astra 表现持平，但完成任务速度是两者的 3 倍以上——这些是 OpenAI 的数据，非独立测试。这组数据的直接意义在于：GPT-6 系列模型之间的能力差异和成本差异正在快速分化。权重空间编程的天花板直接受限于执行编辑的 LLM 的推理能力，若未来更快、更便宜的模型（如 Terra 系列）也能胜任类似的权重诊断任务，这一方法的实用门槛将显著降低。当然，目前尚无实验验证 Terra 是否具备与 Astra 相当的权重编辑能力，这一推断仍属笔者的推测。

从「修好 1 个 bug」到「AI 自主进化」的距离

MIT CSAIL 的这组实验证明了一件此前未被充分认识的事情：前沿 LLM 对神经网络权重空间具备原生的、超出人类水平的读写能力。这种能力在小型网络上表现得尤为突出——能判断训练目标、能从零写出功能性网络、能定位并修复特定缺陷。

但三组实验同时也划定了清晰的能力边界：基线偏低放大了效果，收益主要来自修复已知缺陷而非注入新能力，小型网络上的成功未必能扩展到大型网络。Astra 在 Gemma 3 270M 上的失败尤其说明问题——权重空间编程目前对不同架构和不同类型的缺陷并不通用。

笔者认为，这项工作最准确的定位介于两个极端之间。它既非某些社交媒体评论所渲染的「AI 自我进化的起点」，也非一个可以被轻易忽略的小实验。它更像是深度学习历史上一个新的能力维度被首次系统性地探测和记录。正如 MIT CSAIL 博客标题所用的措辞——「Sparks」（火花）——这是一个信号，而非一个结论。

从 0.016% 的权重编辑到全面的权重空间编程，中间需要回答的问题包括但不限于：编辑规模能否从 131,072 个权重扩展到数百万乃至数十亿？编辑能否从修复缺陷扩展到注入新能力？编辑的效果能否在不依赖前向传递验证的情况下被预测？不同架构之间的泛化性如何？这些问题中的每一个都可能需要数年的研究来回答。

在此之前，权重空间编程最务实的价值可能正如 MIT CSAIL 博客所描述的那样——模型把原始权重当作可读、可编辑的代码：诊断故障并直接打补丁。一个 AI 驱动的神经网络调试器，而非一个自我进化的超级智能。前者已经有了初步的实验支撑，后者仍然停留在叙事层面。

主题分类：技术突破

参考资料

  1. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab (MIT CSAIL), 2026-11-02
  2. ‘Like gene editing for neural networks’: MIT researchers used GPT-6 Astra to edit Qwen’s open weights directly, boosting math performance — VentureBeat, 2026-11-02
  3. MIT Researchers show LLMs can edit neural network weights without training: Here’s what it means — Digit, 2026-11-03
  4. AWS Weekly Roundup: GPT-6.1 Terra on Bedrock, Step Functions as agent tools, and more — AWS, 2026-11-02