AWS 称：给编码 Agent 选模型，看 token 单价算不出账，该看「每个解决了的任务花多少钱」
AWS 称，评估编码 Agent 的模型路由，指标应是每个已解决任务的成本，而不是 token 单价。只看 token 单价算不出一个编码任务要花多少钱——”You pay for every attempt, including attempts on tasks that never finish.”
理由一：开发者付钱买的是任务完成，一个任务可能触发几次到几十次模型调用
据 AWS 博客，Claude Code、OpenAI Codex CLI 这类编码 Agent 以「任务」为单位运作：开发者提出一个变更需求，Agent 读取文件、编辑代码、运行测试，直到工作完成。一个任务可能只需几次模型调用，也可能需要数十次。开发者为之付费的是任务本身，而非单次调用。总成本取决于模型需要多少轮调用、每轮重放多少历史上下文、以及任务需要重试多少次或是否永远无法完成。这意味着同一个任务在不同模型上的总花费差异，不能通过比较两个模型的 token 单价来推算——总成本取决于轮次数量、每轮重放的历史上下文量，以及重试次数。
理由二：没完成的任务也要付钱，失败运行的成本必须分摊到成功任务上
AWS 博客指出，一个解决任务更少的模型组可能显示更低的单任务成本（COST/TASK），但每个已解决任务的成本（COST/SOLVED）反而更高，因为失败的运行增加了成本却没有增加已解决的任务数。给出的度量公式是：一个模型组所有运行的估算成本总和，除以测试通过的运行数。
AWS 介绍，其提供的基准测试运行器在运行结束后，为每个模型组输出 RUNS、SOLVED、ERRORS、COST/TASK 和 COST/SOLVED 五列。当一个模型组没有任何运行被解决时，COST/SOLVED 显示”-“。运行器按响应头中的模型名称和响应中的 token 用量，使用代码中的价格表给每轮定价；有缓存输入的轮次、没有价格条目的轮次或缺少响应头的轮次标记为未定价，而非按零计算。默认六个模型轮次内测试通过即算任务解决。
理由三：AWS 提供了可运行的基准脚本，cost per solved task 才能被实际测量
据 AWS 博客，没有可运行的测量工具，cost per solved task 只是一个概念；该示例让它变成可操作的数字。NVIDIA NeMo Switchyard 是一个开源路由库，帮助 AI Agent 决定每个请求由哪个模型处理。其 LiteLLM 集成支持两种策略：Stage 路由读取请求历史中最近的工具活动和执行结果，在两个候选模型之间做出选择；Random 路由按可配置权重从模型池中随机选取，用于流量分割和 A/B 对比。两种策略均不调用额外的判断模型。Stage 路由的 picker 设为 efficient_first，即信号不明确时优先选择低成本模型；其 switchyard.toml 配置中 recent_window 设为 3，检查最近三次工具结果。LiteLLM 自身也近期内置了原生的 Switchyard Stage 路由器作为自动路由策略。
该博客描述的示例方案通过 AWS CDK 部署，LiteLLM 与 Switchyard 插件运行在同一个容器镜像中，部署在 Amazon ECS on AWS Fargate 的私有子网内。示例配置了三个模型组：switchyard 组使用 Stage 路由在 Claude Opus 5.5 和 NVIDIA Nemotron 3 Super 120B 之间动态路由；另外两个单模型基线组各自始终使用对应的单一模型回答请求，供用户将路由组的成本和通过率与单模型表现做比较。
这个判断在什么情况下会错
AWS 博客明确说明，示例中两个任务的少量运行不足以对成本或质量下结论——原文表述为”A few runs on two tasks demonstrate the workflow. They aren’t enough to draw conclusions about cost or quality.” 当每个模型组的运行次数较少时，一到两个已解决任务的差异可能只是噪声。如果用户没有在自己的任务集上积累足够的重复运行并做统计检验，cost per solved task 这个指标本身的数值就不可靠，基于它做路由选择可能不比看 token 单价更准确。
此外，AWS 博客指出 switchyard-server 0.3.0 被 NVIDIA 定义为演示和评估组件，其配置可能在版本间发生变化，当前的 Switchyard LiteLLM 集成属于实验性质。如果该组件的路由逻辑在后续版本中发生重大变更，基于当前版本测得的 cost per solved task 数据将不再适用，用户需要重新测量。该博客也提醒，运行器的成本是基于 token 用量和价格表的估算值，提示缓存、批量推理和定价变动都会影响实际账单，最终需以 Amazon Bedrock 定价和 AWS 成本与使用报告为准。
主题分类：AI Agent/成本