Together AI 称去年手写 megakernel、今年删掉了——默认编译器内核加两项调度优化就拿回 98% 性能
Together AI 称,去年他们亲手构建了 AI megakernel,今年把它删了:在默认 Torch Inductor 内核之上只加 CUDA Graphs 与 PDL(Programmatic Dependent Launch),不写一个内核就拿回了 megakernel 98% 的性能。Together Compiler 是该团队围绕这一发现构建的持续推理优化框架,核心思路是用少量调度原语替代大规模手写融合内核,再结合智能体驱动的搜索进一步提升吞吐。
它解决什么问题
据 Together AI 博客,传统推理引擎将模型前向传播拆成一连串独立 GPU 内核依次执行,带来三类开销:每次内核启动的调度与派发延迟;内核边界阻断了计算与访存的重叠;工作在流式多处理器(SM)间分配不均导致部分 SM 空转。在 Llama 1B 上,PyTorch ATen 的派发开销为 37 微秒,超过该层 GPU 执行时间(15 微秒)的两倍。
Together AI 称,Torch Compile(Inductor)虽然通过图捕获与算子融合缓解了部分问题,但其贪心逐对融合算法基于局部启发式而非全局搜索,且基准测试存在系统性偏差。例如 Inductor 在基准测试前清空 L2 缓存,导致测得的内核时间比实际推理中慢 39%–58%;对 torch.embedding 的基准测试将 token ID 全部初始化为零,使内核因人为的缓存复用而快了 2.1 倍。这些偏差会误导内核选择——在 Llama 1B 的输出投影 GEMM 上,Inductor 选中的 Triton 内核比 cuBLAS 在实际前向传播中慢 15%。
它怎么做
Together AI 称,整个演进分三步。
第一步:megakernel。 Together AI 介绍,Megakernel 是一种将整个模型前向传播放进单个持久化 GPU 内核执行的方案。线程块常驻 GPU,由专用 warp 协调调度,共享内存被划分为固定大小的页面供各操作动态分配和释放。在 Llama 1B(BF16、batch size 1、H100)上,megakernel 达到 990 TPS,比 Inductor 的 669 TPS 高 48%。但投入生产后,一位团队成员花了数月处理分页 KV 缓存集成、Blackwell 移植和竞态调试,最终只支持一个模型、一个 batch size、一位客户。
第二步:用简单原语逐项还原 megakernel 的收益。 Together AI 称,他们从 Inductor 的 669 TPS 出发,逐一消融 megakernel 提供的优化。加入 CUDA Graphs(一种驱动级机制,将一系列 GPU 操作录制后以极低 CPU 开销重放),吞吐升至 864 TPS,达到 megakernel 的 87%。再加入 PDL(一种 CUDA 机制,允许后续内核在前序内核完成前就开始调度线程块到空闲 SM),吞吐升至 953 TPS(96%)。进一步在 PTX 层面精细放置 PDL 指令——将 griddepcontrol.wait 推迟到消费者内核首次读取前序输出之前——使消费者内核可以在前序内核仍在计算时预加载权重,最终达到 975 TPS,即 megakernel 的 98%。
据 Together AI 博客,megakernel 宣传的内存预加载收益实际仅占前向传播的 3.3%;而其内部加载 warp 在等待前序操作时会自旋占用 SM 队列,反而给计算 warp 带来 1.3 微秒的额外开销。在 Llama 1B 的 downproj-QKV 边界,带宽已饱和,提前加载 QKV 权重使 downproj 慢了 2.2 微秒,QKV 快了相近幅度,总时间不变。
第三步:multi-kernels 与智能体循环。 Together AI 称,在上述基线之上再引入 multi-kernels 与智能体驱动的优化循环,最多可超过旧 megakernel 1.7 倍,Llama 1B 在 H100 上超过 1100 TPS。Together Compiler 即围绕这一流程构建:不以 megakernel 为目标,而是识别正确的操作分组并逐组调优。
和以前的做法有何不同
据 Together AI 博客,megakernel 将所有操作锁定在同一启动信封内——warp 数量、寄存器预算、cluster 形状必须统一。这在不同硬件和新架构上暴露出刚性问题。H100 上的 Llama 1B megakernel 使用 20 个 warp 以适配短 batch-1 解码,但 Hopper 的 wgmma 指令在超过 12 个 warp 时无法放入寄存器,导致 GEMM 慢 1.2–1.5 倍。在 Kimi K3 上,KDA 层与 MLA 层分别需要单 CTA 和 CTA-pair 模式,PTX 禁止在同一内核中混用,megakernel 无法同时以最优配置运行两者。强制统一 cluster size 会造成 5%–19% 的性能下降。
Together AI 称,开源内核中也出现了拆分优于融合的案例:在不均衡的专家路由下,将 Kimi K3 的专家分发移至 GPU 拷贝引擎比 Mixture of Kitten 的 MoE megakernel 快 6.9%;FlashInfer 的 MegaMoE 将分发拆成独立小内核后快了 17%。
Together AI 介绍,他们也尝试过预先用智能体生成内核库、在编译时替换的方案,但发现静态注册表无法适应模型、负载和上下文的变化。一个智能体编写的 top-k 索引内核在随机输入上跑 20 微秒,但真实输入中 ReLU 产生的大量精确零值使候选集中到单个直方图桶,触发二次复杂度,运行时间升至 62 毫秒。
目前的边界
据 Together AI 博客,Inductor 截至 2026 年第三季度暴露 607 个调优标志,其中 198 个是过去一年新增的,标志之间的交互不可预测。博客中消融实验的主要性能数字基于 Llama 1B、BF16、batch size 1、H100 这一口径,但也包含 B200 及 MiniMax、DeepSeek 等其他模型和硬件的数字。Together AI 称 megakernel 在生产中仅支持了一个模型、一个 batch size、一种精度。博客将 Together Compiler 定位为”持续 AI 推理优化框架”,但未给出公开发布状态或支持的完整模型与硬件列表。
主题分类:技术与产业