NVIDIA 称两台 DGX Station 能跑 753B 的 GLM-5.3:并发 16 时总吞吐 607.8 tok/s,加到 32 反而降到 385.0
NVIDIA 称,两台 DGX Station 以张量并行方式服务 753B 参数的 GLM-5.3 模型,在 SPEED-Bench Coding 数据集的 80 段对话上,并发 16 时总输出吞吐达到峰值 607.8 tok/s;并发加到 32,总吞吐反而降至 385.0 tok/s,平均请求延迟升至 453.5 秒。这个数字来自 NVIDIA 发布的技术博客,用自家基准工具 AIPerf 在本地部署环境中实测得出。
这个数字怎么来的
据 NVIDIA 技术博客,GLM-5.3 NVFP4 是 Z.ai 混合专家(MoE)模型的量化版本,总参数 753B,每个 token 激活 40B。稀疏激活降低了计算量,但所有权重必须常驻 GPU 显存,因为每个 token 可能被路由到不同的专家。检查点约 464 GB,超过单块 GB300 GPU 的 252 GB HBM3e 容量,因此教程使用两台 DGX Station,以 TP=2(张量并行度 2)将模型权重和计算拆分到两块 GPU 上,CPU 权重卸载处于关闭状态。启动日志显示每块 GPU 约承载 218 GiB 权重,大致是检查点的一半。两台机器通过 ConnectX-8 RDMA 直连,两台机器都参与计算每个请求,由 Station A 通过一个 OpenAI 兼容 API 返回结果。
NVIDIA 称,测试使用 AIPerf 基准工具,在 SPEED-Bench Coding 子集的 80 段真实对话上进行。SPEED-Bench 是一组专门用来评估推测解码的真实提示词,选它是为了在真实文本上测量多 token 预测(MTP)——模型的 MTP 层每步草拟四个 token,vLLM 用完整模型验证后再接受,实际收益取决于草拟被接受的比例。测试采用模型默认的推理力度(max),输出上限设为 8192 token,响应可以在达到上限前自行结束,token 计数包含推理过程产生的 token。在每个并发级别下,AIPerf 先发送 3×C 条预热请求(不计入结果),再测量 10×C 条请求,C 为并发数。部分对话在高并发时会被重复发送。前缀缓存处于开启状态。607.8 tok/s 就是在并发 16、上述全部条件下测得的总输出吞吐峰值。
和什么比
据 NVIDIA 同一博客,完整测试覆盖并发 1、8、16、32 四个级别,总吞吐在 C16 达到 607.8 tok/s 的峰值;C32 时降至 385.0 tok/s,同时平均请求延迟升至 453.5 秒。
NVIDIA 称,另一个维度是单用户平均吞吐(mean per-user throughput)。并发越高,单用户平均吞吐越低:C1 时为 115.3 tok/s,到 C32 只有 13.0 tok/s。也就是说,到 C32 时,总吞吐已经从峰值回落,单用户吞吐也降到了最低。
它说明了什么、没说明什么
据 NVIDIA 同一博客,在上述测试条件下,总吞吐在 C16 见顶;并发升到 32,总吞吐回落到 385.0 tok/s,单用户平均吞吐也降到 13.0 tok/s。
NVIDIA 在博客末尾建议用户用自己的提示词重新运行 AIPerf,找到适合自身工作负载的并发数。测试口径本身也有边界:token 计数包含推理过程的 token,推理力度设为 max(模型会在回答前进行较长的推理),输出上限 8192 token,这些设置都会影响最终数字。此外,测试数据是 SPEED-Bench Coding 的 80 段编程对话。
主题分类:本地推理/硬件
参考资料
- When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM — NVIDIA, 2026-11-13