0.8%:Google 称 Gemini 4 Carbon 把单次尝试攻破率从 Argon 的 3.1% 压到 0.8%——这个数字是怎么测的
Google 称,Gemini 4 Carbon 的安全防护在模拟网络攻击测试中将单次尝试攻破率压到了 0.8%,而上一代 Gemini 4 Argon 的同一指标是 3.1%。这个数字出自 Google DeepMind 官方博客 2026 年 11 月发布的《Gemini 4 Carbon is now available》一文,用来说明 Carbon 在网络安全防滥用方面的改进幅度。
这个数字怎么来的
据 Google DeepMind 博客,0.8% 是一个”per-attempt breach rate”(单次尝试攻破率),测试环境是用 ExploitBench 和 CyScenarioBench 搭建的”模拟网络攻击测试环境”(simulated cyberattack testing environments)。攻击方并非简单的一次性探测,而是一个”自适应红队 agent”(adaptive red-teaming agent),它能在每次被拦截后重新修订攻击计划,再发起下一轮尝试。Google 称,在这一设定下,Carbon 拦下了 99% 的攻击轨迹;单次尝试攻破率是 0.8%。前者按攻击轨迹计,后者按单次尝试计,是两个不同的指标。
博客原文的表述是:”The Carbon safeguards lowered the per-attempt breach rate to just 0.8% (down from 3.1% on Argon).” 据 Google DeepMind 博客,这个数字有三个口径:第一,它按单次尝试计算;第二,测试环境是以 ExploitBench 和 CyScenarioBench 为基础的模拟网络攻击环境,不是真实网络;第三,对照对象是上一代 Argon 的 3.1%。
和什么比
Google 在同一篇博客中给出了三组对照数字,全部围绕 Carbon 与 Argon 在安全防护上的差距。
据 Google DeepMind 博客,第一组就是核心数字本身:单次尝试攻破率,Carbon 0.8% 对 Argon 3.1%。
据 Google DeepMind 博客,第二组来自 Gray Swan 的测试:自动化网络攻击查询成功率(automated cyberattack query success rate),Carbon 为 2.17%,Argon 为 9.86%。这一指标的口径与前述模拟环境里的单次尝试攻破率不同,但两组数字都是越低越好。
第三组同样来自外部测试。Google 称,Trajectory Labs 在 132 小时、超过 13,000 次请求的测试中,没有发现针对 Carbon 的新的通用越狱方法(zero new universal jailbreaks)。此外,Gray Swan 的间接提示注入(IPI)基准测试中,Carbon 的提示注入攻击成功率为 0%,Google 称这是该基准首次被达到的里程碑。
它说明了什么、没说明什么
据 Google DeepMind 博客,Carbon 之所以需要更强的安全栈,是因为它本身具备更强的网络安全能力。博客写道,面向网络安全的 Carbon 是 Google”迄今最强的网络安全能力”,通过 Fairwind 计划访问时,在漏洞发现(SEC-bench Pro)、漏洞利用(ExploitGym)和补丁生成(CWE-bench v1)等关键基准上领先。Google 称,正因为 Carbon 的网络能力更强,它在 Argon 已有的安全栈基础上加固了防滥用和防提示注入能力,目的是不让更强的防御推理变成攻击风险。0.8% 这个数字,直接反映的是加固后的效果:在同一套模拟攻击框架下,Carbon 的单次尝试攻破率从 Argon 的 3.1% 降至 0.8%。
但这个数字的适用范围有明确边界。据 Google DeepMind 博客,它来自以 ExploitBench、CyScenarioBench 为基础的模拟攻击环境和 Google 自己的自适应红队 agent,不是真实网络上的攻防。博客本身也承认提示注入鲁棒性”仍需持续改进”(remains an area for continued improvement),并提到 Google 内部的高级自动化红队测试已经表明”模型在某些分布下面对复杂攻击时仍有提升空间”。
主题分类:模型安全
参考资料
- Gemini 4 Carbon is now available — Google DeepMind, 2026-11-10