NVIDIA 称 Agent Substrate 让 Kubernetes 上的智能体沙箱绕过 Pod 冷启动,容器密度提高 10 倍
据 NVIDIA 技术博客,Agent Substrate 是一个已捐赠给 CNCF Sandbox 的开源、安全加固、零信任的智能体沙箱运行时,设计目标是在 Kubernetes 之上安全运行百万级智能体和工具。启动一个 Kubernetes Pod 需要几秒,这对运行数周的服务没问题,但对于”必须出现、跑一条 10 毫秒的 bash 命令然后让出位置、每秒数百次”的沙箱来说太慢了。Agent Substrate 的容器密度比标准容器高 10 倍。
它解决什么问题
据 NVIDIA 技术博客,智能体的工作模式与传统 Web 服务截然不同。传统服务是少量长期运行的实例;智能体则是醒来做一步——执行一条 shell 命令、编辑文件、调用测试套件或调用大语言模型——然后等待,有时等几毫秒,有时等几分钟,再做下一步。智能体的状态(文件系统、进程、工作目录)必须在步与步之间保留。
NVIDIA 在博客中描述了三类驱动需求的工作负载。第一类是编程助手与智能体服务:编程智能体在大语言模型调用与自身环境操作(克隆仓库、编辑文件、运行构建和测试)之间交替,用户期望环境在对话轮次间持续存在并即时响应,平台无法为每个会话维持一个专用沙箱。第二类是基于可验证奖励的强化学习后训练:GPU 训练器和生成服务器旁边运行着大量 CPU 密集型环境(代码沙箱、编译器、浏览器、模拟器),沙箱需求随 rollout 批次突发到达,从早期实验的几百个到生产环境的数十万个,最慢的环境决定训练器何时拿到下一批数据,冷启动会导致 GPU 空闲。第三类是研究用 GPU 沙箱:研究人员的编程智能体需要 GPU 来编译 CUDA 代码、基准测试内核或运行数值计算,需要大量短生命周期、隔离的 GPU 沙箱快速启动并公平共享有限的 GPU 池。
它怎么做
据 NVIDIA 技术博客,Agent Substrate 用 Kubernetes 运行一个就绪的 Pod 池,在其上建立独立的控制平面,将大量 actor(智能体及其环境)映射到这个较小的 worker 池上。当一个 actor 空闲时,它会从沙箱(gVisor 或微虚拟机)中被快照出来,连同内存和文件系统状态一起保存,worker 随即释放。当该 actor 再次被调用时,它被恢复到任何一个空闲的 worker 上,状态完好。唤醒 actor 不需要再走一遍 API server、调度器或 kubelet 的流程,因为它被恢复到已有的 worker Pod 上。
NVIDIA 在博客中列出了几项已公开的上游贡献。路由器中的请求暂存(request parking):当所有 worker 都在忙时,下一个请求会排队等待而非立即报错,设有等待上限和最大排队数;后续改进确保发往已在运行的 actor 的请求不会被卡在队列中。微虚拟机沙箱的单容器 CPU 和内存限制:智能体沙箱常在工作负载旁运行日志、代理或指标等辅助容器,单个失控容器超出内存限制时只终止自身,不影响沙箱内其他容器。设备可插拔支持:基于 Kubernetes DRA(Dynamic Resource Allocation,动态资源分配)添加设备支持,设备厂商通过配置文件接入,沙箱中每个容器只请求所需设备,gVisor 和微虚拟机沙箱通用。当智能体暂停等待人工审核时,沙箱应释放 GPU,之后恢复时编译产物和已加载数据仍然保留。设备厂商描述如何安全暂停设备以及快照依赖哪些设备属性,快照时记录这些属性,恢复时匹配设备,无匹配则回退到干净的冷启动。该设计基于 DRA 构建,是厂商中立的,NVIDIA GPU 是首个目标,可扩展到其他硬件类型。
和以前的做法有何不同
据 NVIDIA 技术博客,Kubernetes 启动一个计算 Pod 需要经过 API server、准入控制、etcd、调度器、kubelet、镜像拉取和网络配置,这条路径耗时数秒。这给平台团队留下两个都不理想的选择:要么为每个智能体常驻一个 Pod,为几乎一直空闲的算力付费;要么按需创建 Pod,每一步都承受冷启动代价。Agent Substrate 的做法不同:它维护一个预热的 worker Pod 池,将大量 actor 通过快照复用映射到这个较小的池上,唤醒 actor 不需要再走 API server、调度器或 kubelet 的流程,而是直接恢复到已有的 worker Pod 上。
NVIDIA 介绍,Agent Substrate 管理智能体执行的位置,NVIDIA Dynamo(开源分布式推理框架)管理推理的位置。Dynamo 的路由器位于两者之间,连接智能体的动作与 GPU 上的状态。Dynamo 的路由器能看到可复用的 KV cache(键值缓存,用于存储模型推理中间状态)所在位置、哪些 worker 在做 prefill 或 decode、负载分布情况。Agent Substrate 和智能体框架则提供会话标识、请求优先级、工具调用边界等信号。两者结合后,Dynamo 可以将相关模型调用保持在已持有可复用 KV cache 的 worker 上,在推理池压力大时优先处理交互式轮次,在工具调用间隙保留系统提示和对话历史。
NVIDIA 给出的数据是,Dynamo 还向 Agent Substrate 回传推理信号,包括预计首 token 时间、预计完成时间、请求进度、缓存就绪状态和 GPU 池饱和度。Agent Substrate 据此决定是让 actor 保持驻留、在较长推理等待期间挂起,还是在模型响应即将完成时恢复。在集群规模上,同样的反馈可用于调节预热 worker 容量、调控智能体扇出,以及避免激活那些会因 GPU 队列饱和而空等的 CPU 沙箱。
据 NVIDIA 技术博客,KAI Scheduler 负责 Kubernetes 层面的工作负载放置。Agent Substrate 的 worker Pod 是普通的 Kubernetes Pod,KAI Scheduler 可以将它们与 GPU 训练器和推理服务器一起调度。协调 worker 池自动扩缩与 KAI 的队列和公平共享策略,可以将跨租户的资源共享延伸到环境层。三者的分层关系是:Dynamo、KAI Scheduler 和 Kubernetes 基础组件属于 NVIDIA DSX OS;NVIDIA 在贡献上游代码并开发与 DSX OS 组件的互操作性。
目前的边界
据 NVIDIA 技术博客,Agent Substrate 仍在演进中。其 API 仍在变化,GPU 支持正在基于新的 DRA 基础重建,Dynamo 智能体集成的部分功能处于实验阶段。GPU 检查点通常只能恢复到同型号 GPU 上,有时还要求相同驱动版本;无匹配设备时回退到冷启动。
主题分类:技术与产业
参考资料
- Agent Substrate: Advancing Kubernetes for Agents at Scale — NVIDIA, 2026-11-11