亚马逊团队在 Hugging Face 博客发布了论文 HOPE（Higher-Order Pruning of Experts）的解读文章，对应论文为 arXiv 2609.18916。亚马逊称，以 Qwen3.5-122B 为例，其 48 个 MoE 层各有 256 个专家，专家 MLP 占了约 250 GB 参数内存的 95%，但每个 token 每层只用到其中 8 个。HOPE 是一种二阶专家剪枝方法，在 50% 剪枝率下取得所有方法中最优的平均排名，在智能体编程任务上比次优方法最多高出 6.1 个百分点。

要点一：为什么要剪专家——绝大多数专家在推理时闲置

据亚马逊团队博客，MoE 模型将参数规模扩展到了数千亿，但代价是每个专家 MLP 在推理时都必须驻留内存，即便对任意给定 token 来说，绝大多数专家处于空闲状态。以 Qwen3.5-122B 为例，48 个 MoE 层各含 256 个专家，专家 MLP 独占约 250 GB 参数内存的 95%，而每个 token 每层仅激活 8 个专家。

亚马逊称，专家剪枝是解决这一内存瓶颈最直接的手段——永久删除最不重要的专家。相比动态加载/卸载专家带来的延迟问题，剪枝不需要任何训练，且可与量化方法组合使用。难点在于如何判断哪些专家可以安全移除。

要点二：HOPE 怎么做——从一阶独立打分到二阶交互矩阵

据亚马逊团队博客，现有剪枝方法为每个专家独立计算一个标量重要性分数，再按分数从低到高逐层删除，属于一阶方法。这类方法假设每个专家的贡献独立于其他专家。但实际上，专家会形成稳定的协作组，被一起激活的模式在训练早期就已出现并持续稳定。单独看专家 A 似乎不重要，但如果经常与 A 协作的专家 B 非常重要，删除 A 就会破坏一个协作组。一阶方法无法捕捉这种效应，且在高剪枝率下问题会加剧。

亚马逊称，HOPE 定义了一个可处理的上界代理目标 Z，对其展开后自然产生专家对之间的交叉项。整个问题被重新表述为一个二次规划（QP）：构建一个 E×E 的交互矩阵 F，其中对角线元素衡量单个专家的重要性，非对角线元素衡量专家对的协作贡献。F 矩阵在校准数据集上通过一次前向传播收集，随后用标准 QP 求解器求解，每层仅需 1–2 秒。亚马逊称，总额外开销与一阶方法相比可忽略不计，因为校准时间本身占主导。

亚马逊称，HOPE 与一阶方法 REAP 有密切联系：F 矩阵的对角线几乎完美复现了 REAP 的专家排名（Spearman ρ = 0.988）。在可视化 GLM-4.5-Air（每层 128 个专家，总计 1060 亿参数）的 F 矩阵时，可以看到明显的块状结构，表明专家协作关系因层而异。

要点三：效果与边界——50% 剪枝率下优势最大，低剪枝率下差距缩小

据亚马逊团队博客，实验使用 3 个模型（Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Air）、2 个校准数据集（Evol-CodeAlpaca 和 SWE-Bench Verified 轨迹），在 Tulu3 评测套件和 SWE-Bench Pro（智能体编程）上测试，与 4 个一阶基线（REAP、MAN、EAN、Frequency）在 10%–50% 剪枝率范围内比较。

亚马逊称，在所有条件下，HOPE 的平均排名为 2.07（5 种方法中最优），取得最高的第一名比例（39% 的条件下排名第一）和前两名比例（67%）。在 50% 剪枝率下，HOPE 的平均排名进一步提升至 1.58，而次优方法 REAP 为 2.42。在 SWE-Bench Pro 上，Qwen3.5-35B-A3B 以 50% 剪枝率运行时，HOPE 得分 42.3，与未剪枝模型的 41.8 持平，而 REAP 降至 36.2，出现 13% 的回退。亚马逊称，SWE-Bench Pro 涉及编码、工具调用、推理等组合多样的多轮任务，正是保留协作结构最重要的场景。

亚马逊同时指出了边界条件：在 10%–20% 的低剪枝率下，一阶方法 REAP 和 MAN 有时具有竞争力，HOPE 的优势缩小。此外，HOPE 与多数专家剪枝算法一样逐层独立剪枝，不考虑跨层交互；论文中给出了跨层 HOPE 的理论框架，但结果仍属初步。HOPE 目前只捕捉两两交互，更高阶的交互（三元组及以上）可能提供额外信号，但在组合上难以估计。

一个疑问：校准数据集的选择对 HOPE 的二阶优势影响有多大？

亚马逊在博客中提到使用了两个校准数据集（Evol-CodeAlpaca 和 SWE-Bench Verified 轨迹），并称以代码为导向的校准不会严重损害非编码基准，HOPE 在 Tulu3 套件上无论用哪个校准集都表现良好。

主题分类：AI 模型/推理效率

参考资料

  1. Your Experts Have Partners. There’s HOPE for Keeping Them Together — Amazon (Hugging Face 博客), 日期未标注（收录日期 2026-11-09，附论文 arXiv 2609.18916）