同一代芯片拼出4套系统:Google 发布 TPU 8tx 与 8i Max,瞄准机密推理与超长上下文
Google 在同一天宣布了第8代 TPU 家族的两位新成员——TPU 8tx 与 TPU 8i Max。加上此前在 Google Cloud Next 上发布的 TPU 8t 和 TPU 8i,Google 在1年内推出了4款 TPU 系统。据 ServeTheHome 报道,这是 Google 首次在1年内推出4种不同的系统配置,但并非4款新芯片设计。Google 在官方博客中称,把模块化定制芯片与开放、易用的软件栈结合起来,能够”按 AI 行业的节奏”交付新的硬件和系统配置。
第8代 TPU 家族全景:从通用到专用的产品矩阵
Google 官方博客将第8代 TPU 的4款系统定位为覆盖”AI 全生命周期”的产品组合。
据 Google 官方博客,TPU 8t 面向大规模训练,训练性能较上一代 TPU 提升最高2.7倍;TPU 8i 面向实时推理,推理性价比较上一代 TPU 提升80%。这两款在 Google Cloud Next 期间发布,构成了训练与推理的基础双轨。
据 Google 官方博客,Google 10多年前最初设计 TPU 是出于语音识别、语言翻译等内部需求。
新发布的 TPU 8tx 针对安全机密推理,TPU 8i Max 则针对超大上下文窗口与最高每机架算力密度。Google 将整个产品组合描述为提供”specialized hardware for security, density, and reasoning”。
这里有一个关键的架构哲学。Google 官方博客明确区分了”新芯片”与”新系统”的概念:设计一颗新芯片意味着在硅晶圆上布局数十亿晶体管,受制于物理定律和漫长的制造周期;而一个新系统则是围绕芯片组合计算、网络和存储资源,包括封装方式、高速内存、光学网络和安全模块。Google 表示,将 TPU 设计为 AI Hypercomputer 的构建模块。这种方法使 Google 能够在数月而非数年内交付专用超级计算机。
据 Google 官方博客,TPU 8tx 与 TPU 8t 基于相同的硅片,搭配第5代 AMD EPYC CPU 主机。据 ServeTheHome 和 Tech Times 报道,TPU 8i Max 则是将2颗 TPU 8i 芯片放进1个多芯片封装。据 TechTarget 报道,Lohmeyer 表示,第8代是第1代把 AI 工作负载拆成2个专门方向、各自修改硬件的 TPU;他说:”You can’t optimize that infrastructure just by focusing on the chip.”
TPU 8tx:机密推理为何需要独立成产品线
TPU 8tx 的核心卖点是硬件级别的敏感数据保护。据 ServeTheHome 报道,TPU 8tx 搭载了 AMD EPYC Turin 系列 CPU 作为主机处理器,采用双路 Turin 配置提供128条 PCIe Gen5 通道,确保4颗 TPU 和高速网卡之间零 I/O 超额认购。AMD 在官方新闻稿中确认,第5代 AMD EPYC 处理器为 Google Cloud TPU 8tx 提供主机基础设施,并称这是”首个提供硬件强制机密计算的云端 TPU 系统”。
据 AMD 新闻稿,在 TPU 8tx 系统中,第5代 AMD EPYC 处理器负责工作负载编排、数据准备和与 TPU 加速器的高吞吐通信。该系统利用 AMD EPYC CPU 中的 AMD Secure Encrypted Virtualization(SEV)能力,与 TPU 协同将机密计算保护从 CPU 扩展到连接的加速器。据 Tech Times 报道,Google 并未说明这款机密推理系统使用的是 SEV-SNP。
AMD 称,系统会先验证加速器的身份和安全配置,再允许其直接访问受保护内存,使客户提示词、模型权重和中间数据在 CPU 内存中以及主机与加速器之间传输时保持加密,加速器执行期间有硬件隔离。AMD 还称,AMD SEV 技术已用于 Google Cloud 的 Confidential VMs、Confidential GKE、Confidential Space、Confidential Dataflow 等产品,这款新系统把这一合作扩展到了机密 AI 加速。
Patrick Moorhead 在 TechTarget 的报道中指出:”Agents put the CPU and host platform back at the center.”
ServeTheHome 认为,这未必会让 AMD 的服务器 CPU 份额一夜之间提升 10%,但对 AMD 是一场大胜:EPYC 进入了非 AMD 加速器的系统,也展示了它在机密计算上的能力。
据 SiliconANGLE 报道,通常情况下数据在存储或网络传输时是加密的,但当 AI 模型处理这些信息时,数据必须被解密。Lohmeyer 在 AMD 新闻稿中表示:”When teams move AI agents into production, they need confidence that their data and intellectual property stay private, even from the underlying infrastructure.” Google 官方博客提到,”some highly regulated customers are asking for specialized encryption capabilities for unique workloads”。据 TechTarget 报道,Google 打造这款机密推理系统,面向的是政府敏感工作和受监管行业的企业。
据 Google 官方博客,TPU 8tx 支持团队使用私有数据微调模型、将大模型蒸馏为小模型、通过强化学习训练 Agent,且无需在不同集群之间迁移敏感数据。Moor Insights & Strategy 创始人兼首席分析师 Patrick Moorhead 在 TechTarget 的报道中指出:”A bank or government agency can fine-tune, distill and run reinforcement learning on the same confidential system that serves the model, without moving sensitive data between clusters.”
在性能方面,据 Google 官方博客,TPU 8tx 采用了与 TPU 8i 相同的低延迟 Boardfly 网络(而非训练优化的 torus 拓扑,据 ServeTheHome 报道),使多步 Agent 保持高效运行,与 TPU 8t 相比延迟降低最高2倍,且性能损失接近零。ServeTheHome 此前在 Hot Chips 2026 的报道中介绍,面向推理的 TPU 8i 采用 Boardfly 拓扑,最大网络跳数直径为7,训练用的 torus 设计则是16跳。不过据 Tech Times 报道,Google 没有定义该”性能损失”的基线,这些数字是 Google 自己的声明而非独立基准测试。
在安全可验证性方面,Tech Times 指出,Google 的发布文承诺敏感数据和模型权重在”active use”期间保持”protected and isolated”,但没有说明证明(attestation)方法、威胁模型或独立审计机制,而这些是受监管买家验证该承诺所需要的。此外,当客户在自有数据中心部署 TPU 时,特权管理员是客户自己的员工,但发布文没有说明系统设计要防范的是哪一方。据 ServeTheHome 报道,Google 表示如果数据必须留在机密计算域内,用户应使用这一系统进行推理和服务。
据 Google 官方博客,TPU 业务目前拥有近100家客户,”including frontier labs, trading firms, retailers, universities, and more”。据 TechTarget 报道,Google 没有公布这款机密推理系统的供货时间和价格。
TPU 8i Max:Agentic AI 对硬件拓扑提出新要求
TPU 8i Max 的定位是超大上下文窗口与最高每机架算力密度。Google 官方博客将这一需求的驱动力归结为”computing moving from human to agent scale”——计算从人类规模向 Agent 规模迁移。
据 Google 官方博客,TPU 8i Max 将计算和内存同步扩展,提供 TPU 8i 2倍的计算能力、2倍的 SRAM 和2倍的 HBM 带宽。据 ServeTheHome 报道,TPU 8i Max 的 HBM 带宽达到17.2TB/s,片上 SRAM 达到768MB。由于 TPU 8i Max 在现有机架占地面积内容纳了2倍的硅片,数据中心可以在每平方英尺和每瓦特上部署显著更多的算力。
据 SiliconANGLE 报道,Google 表示 8i Max 的开发与推动 Gemini 前沿模型的超大上下文窗口同步进行,Gemini 支持100万 token 的行业标准上下文长度。SiliconANGLE 称,100 万 token 大约相当于 75 万个英文单词或 1500 页文本,而较小的模型通常只支持 12.8 万到 25.6 万 token。ServeTheHome 写道,当许多 Agent 同时处理整个代码库或数小时的视频时,内存带宽会先于算力成为瓶颈。
Google Cloud 副总裁兼 AI 与计算基础设施总经理 Mark Lohmeyer 在 TechTarget 报道的媒体简报中表示:”[AI] used to be mostly about how much compute you had available, but now it’s also about how quickly data can move, how efficiently you can use the memory, how do you minimize latency, and how you manage the cost and security of running all these workloads at scale.”
Google 官方博客还提到,TPU 的设计越来越多地融入外部客户的反馈。Google 将 TPU 描述为”a rapidly growing business”。据 TechTarget 报道,Google 同样没有公布 TPU 8i Max 的供货时间和价格。
GKE 动态切片 GA:专用硬件需要弹性调度层
与 TPU 8tx 和 8i Max 同日宣布的还有 GKE(Google Kubernetes Engine)动态切片功能正式 GA。
据 Google Cloud 博客,动态切片的核心技术原理是将逻辑 TPU 切片的形成与物理节点池的供给解耦。
此前 GKE 标准模式下的 TPU 管理存在明显痛点:每个 TPU 切片拓扑需要创建独立的固定节点池,导致启动时间长、管理复杂度高,且多主机节点池无法同时承载多个 AI 工作负载。更改工作负载需求意味着手动删除并重新创建节点池。此外,这种紧耦合架构造成了大的故障域——单个硬件故障会导致整个切片崩溃,恢复过程中需要重新供给资源。
动态切片通过两种机制解决这些问题:Super-slicing(超级切片)利用 TPU 光学电路交换(OCS)技术将多个 TPU Cube(16 VM 节点池)动态拼接成更大的切片拓扑;Sub-slicing(子切片)则将 TPU Cube 分割成更小的切片,使多个工作负载可以在同一节点池内运行。
Google Cloud 博客还称,动态切片允许在节点池内多租户混部较小的工作负载,并可以供给部分健康的节点池,利用原本无法使用的健康主机。
据 Google Cloud 博客,与为每个 TPU 切片创建静态节点池的做法相比,动态切片将 AI 工作负载启动时间缩短最高5倍(通过从预供给的 TPU 节点池即时组装逻辑切片拓扑,而非等待新节点池部署),故障恢复加快4.5倍(通过将故障隔离到 TPU Cube 级别,即16 VM 的切片拓扑,并替换不健康的 Cube)。这些数字是 Google Cloud 博客给出的官方数据。
Google Cloud 博客称,这些改进是为了最大化 TPU 的 goodput(有效吞吐量)、效率和工作负载韧性。动态切片将故障域缩小到 Cube 级别(16 VM)。
产品节奏背后的竞争逻辑
Google 1年4款 TPU 系统的发布节奏,以系统为单位快速迭代,围绕同一代芯片构建差异化的硬件配置,针对特定工作负载进行优化。Google 在博客中写道,10多年前造第1代 TPU 时就知道 AI 软件的演进会远快于芯片制造(”AI software would evolve much faster than silicon manufacturing ever could”),因此押注系统平衡与模块化。
Google 官方博客还提到了近期的 PyTorch 支持工作。据博客,Google 上个月开源了 TorchTPU,使 PyTorch 代码和 Hugging Face 模型可以原生运行在 TPU 上,同时为 vLLM 和 SGLang 等主流开源推理引擎提供了开箱即用的 TPU 后端。
Moor Insights & Strategy 的 Patrick Moorhead 在 TechTarget 的报道中指出:”With roughly two-thirds of AI compute now going to inference, specializing [in] inference hardware is the right call.” ServeTheHome 在其报道中总结称,Google 正在为 AI 技术栈的不同层级、甚至不同客户群体定制其 TPU 产品。接下来需要观察的是:TPU 8tx 和 8i Max 的具体定价与供货时间、外部客户的实际采用速度,以及 Tech Times 所提出的安全可验证性问题如何得到回应。
参考资料
- Our newest TPUs: 8tx and 8i Max, built for the agentic era — Google, 2026-11-09
- Now generally available: GKE dynamic slicing for higher resilience, and efficiency for TPUs — Google Cloud Blog, 2026-11-09
- Google TPU 8tx Pairs AMD EPYC Turin Hosts with Confidential Computing — ServeTheHome, 2026-11-09
- Google TPU 8tx AI System Launches With Isolated-Data Promise but No Way to Verify It — TechTimes, 2026-11-10
- AMD EPYC Expands Its Leadership at the Foundation of AI — AMD Newsroom, 2026-11-09
- Google advances agentic AI custom silicon expanding TPU family with 8tx and 8i Max — SiliconANGLE, 2026-11-09
- Google specializes TPUs for agentic, confidential computing — TechTarget, 2026-11-09