据AWS博客,Airbnb用「每任务成本」为Amazon Bedrock上的编码Agent选模型
据AWS机器学习博客上的一篇文章,Airbnb称,每周有数千名工程师及工程相关人员使用其内部编码Agent工具AirChat;约5周内出现了8个新模型,到10月中旬,工程师通过编码Agent发出的请求中约2/3流向了这些新模型。
文章介绍了Airbnb如何为编码Agent评估模型、如何监控其在Amazon Bedrock上的使用:每任务成本如何指导模型选择,生产数据如何帮助Airbnb在用量变化时重新审视这些选择,以及用哪些运行时信号排查延迟、限流和花费问题。
AirChat与LLM网关
博客开篇称,随着编码Agent进入生产,模型和用量的变化可能影响延迟(latency)、容量(capacity)和成本(cost)。Amazon CloudWatch中的Amazon Bedrock运行时指标可帮助团队排查延迟上升、限流和token消耗变化;评估(evals)则在一组固定的代表性任务上衡量Agent的工作质量,作为对这些运营指标的补充。
据AWS博客描述,Airbnb内部有一个名为AirChat的工具,供工程师运行编码Agent。工程师可以在个人云开发环境(AirDev workspaces)中直接使用AirChat,也可以将任务交给AirChat Remote——后者在独立的云工作空间中运行Agent,工程师可以同时做其他事情。两条路径都通过Airbnb的LLM网关(gateway)连接到Amazon Bedrock。
据博客,Airbnb的LLM网关记录每个请求的模型、客户端、团队和用户,这些记录仅以聚合形式用于成本和容量规划;CloudWatch则提供token数、延迟、错误和限流数据。
Airbnb称,每次模型发布都可能同时改变输出token、成本、延迟和容量,而模型发布时附带的基准测试图表(benchmark charts)并不能说明模型如何处理Airbnb工程师的工作。
因此Airbnb同时运行两套系统:上线前,在自己的任务上运行评估,衡量每个模型的评分和每任务成本;上线后,用可观测性查看生产中发生了什么变化,生产用量与评估结果不符时查明原因。
「每任务成本」的定义与计算
AWS博客对「每任务成本」(cost per task)的定义是:它是一个Agent完成一个任务所使用的所有token的公开标价成本(list-price cost)。
首先,计量单位是「任务」而非「请求」。博客解释说,一个编码Agent完成一个任务需要多次请求(many requests),而且每次请求时模型都会重新读取到目前为止的上下文(context)。因此Airbnb按整个任务计价。
其次,成本计算覆盖4种token类型。据AWS博客描述,Amazon Bedrock对每个请求报告4种token:未缓存输入(uncached input)、缓存读取(cache reads)、缓存写入(cache writes)和输出(output)。每种token有不同的定价。缓存读取比未缓存输入便宜,而缓存写入在某些模型上可能更贵。在评估运行中,Airbnb对每个请求的全部4种token按公开标价计价,然后将一个任务中所有请求的成本加总。博客中的所有成本都使用该次运行所标注日期的公开标价。
第三,成本与质量评分并列记录。AWS博客称,Airbnb记录每个模型、每个推理努力程度(reasoning effort)和每个Agent客户端的平均成本和评分,且平均值包含低分尝试。
推理努力程度(reasoning effort)是一个控制模型在响应前进行多少推理的设置。AWS博客提供了一个具体的数据对比:在Airbnb测试的一个模型上,将推理努力从低(low)调到高(high),评分提升了0.8分,但每任务成本变为原来的2.5倍。这个数据直接驱动了一个运营决策——Airbnb使用评估结果来设定每个模型的「努力上限」(effort ceiling),由网关强制执行。评估结果也用于选择默认值,即工程师不另行选择时编码工具使用的模型和推理努力程度。
评估:用自己的工程任务跑eval
据博客,Airbnb的评估任务取自自己的工程工作。
据AWS博客描述,Airbnb的评估系统由7个任务套件(suites)组成,每个套件是一组固定的同类型任务。每个任务是一个文件夹,包含运行一次评估所需的全部内容:一个起始代码仓库状态(starting repository state)、工程师会写的提示词(prompt),以及一个可信的评分器(grader)。AWS博客称,这些任务是从真实的代码变更、代码审查评论和原始工单未明确说明的决策中构建的。
博客展示了一个来自Airbnb机器学习工作的精简任务示例:评分器每次运行都从冻结数据重新计算正确答案,只有所有检查都通过,Agent才能获得1的奖励。Airbnb的长任务分多轮运行,轮次之间由模拟审查者(simulated reviewer)提出反驳;一个模型评分器(model grader)在8个加权维度上为每次运行打分,每个维度0到3分。
AWS博客特别指出,编写评分标准(rubric)是整个过程中最困难的部分。博客展示的评分标准片段中设有上限规则;博客称,由于有这类上限,需要「救援」的Agent无法仅凭打磨(polish)获得高分。
AWS博客称,在一个新模型发布的当天下午,向Agent发出的一个请求启动了一次评估活动(eval campaign),将新模型在所有7个任务套件上运行。Agent把数百个任务分散到各套件和多个云工作空间,每个结果在评分器打分后立即可见。第一批结果在数小时内到达,到第二天早上,每个套件都有了评分和每任务成本,团队已经拥有了为整个组织做部署决策所需的信息。
博客中的任务示例和作业配置示例都采用了Harbor的格式,这是一个用于在沙盒中运行Agent评估的开源框架。博客将其描述为「如果你刚开始做评估的一个选项」。要在每种推理努力程度下测试同一个模型,可在作业配置中把每种努力程度列为一个单独的Agent。
上线之后:生产中看什么
运行时指标体系
博客称,用Amazon CloudWatch中AWS/Bedrock命名空间下的几个信号,就能诊断大多数生产问题。这些指标分为3类:
延迟类:InvocationLatency(调用延迟)、TimeToFirstToken(首token时间)、OutputTokenCount(输出token数)以及由此派生的OTPS(每秒输出token数)。AWS博客指出,Bedrock没有原生的OTPS指标,需要通过CloudWatch的metric math功能自行计算。此外,TimeToFirstToken仅对流式API(ConverseStream或InvokeModelWithResponseStream)发布。
限流类:InvocationThrottles(调用限流次数),以及每个请求对配额的token预留量(需要用户自行发布)。AWS博客还提到Bedrock发布了EstimatedTPMQuotaUsage指标,用于测量估计的每分钟token配额消耗,包括缓存写入token和输出消耗倍率(burndown multipliers),覆盖所有推理API。博客称,可用该指标在达到配额上限前设置预警。
成本类:InputTokenCount(未缓存输入)、CacheReadInputTokenCount、CacheWriteInputTokenCount和OutputTokenCount,每种按各自费率计价。缓存命中率降低会推高每请求成本。
延迟归因的实际案例
博客建议,延迟上升时,先在图表上看3个信号再提交支持工单:TimeToFirstToken(生成开始前的等待)、OutputTokenCount(响应长度)和OTPS(生成速度)。
博客举了一个例子:延迟上升了40%,但首token时间和OTPS保持不变。原因是有人修改了系统提示词(system prompt),要求更详尽的回答,导致每个请求的输出token增加了50%。模型的生成速度没有变化,只是写了更长的响应。
AWS博客据此给出了一个运营建议:将提示词变更和模型升级视为部署(deploys),在监控仪表板上标记它们。Airbnb每周把各模型的CloudWatch运行时指标与网关使用记录放在一起看;为做成本和容量规划,还从聚合层面看每请求成本和每用户每周平均请求数。新模型可能同时改变这两项,每次上线后,Airbnb都会把它们与评估中每任务成本给出的预期对比。
Model A的案例:Eval与生产的显著偏差
AWS博客中最引人注目的案例是关于一个被称为「Model A」的模型。据AWS博客描述,Model A在Airbnb的编码任务评估中表现优异——评分比之前的最佳模型高出3分以上,每任务成本大致相同,且使用同一个评分器评分。团队将其部署上线,将推理努力上限设为高(high),并建议工程师日常使用低(low)或中(medium)。
上线几周后,Airbnb按公开标价对Model A的生产用量计价,并从聚合层面查看。据博客:
- 每周每用户的平均花费在Model A上是前一个模型的数倍(several times higher)
- 每个Model A请求的成本约为前一个模型的3倍
- 平均每个Model A用户发送的请求数量约为前一个模型的3倍
AWS博客进一步分析了成本结构:输出token仅占一个请求成本的1/10,大部分成本来自缓存上下文(cached context),模型在每次请求时都会重新读取这些上下文。Model A能够长时间自主工作,因此工程师开始与它进行长时间的自主导向会话(long, self-directed sessions)。
AWS博客对此总结了一句关键判断:「评估衡量的是模型在一个任务上的表现。生产衡量的是人们选择如何与模型一起工作。」(The eval measured the model on a task. Production measured how people chose to work with it.)
据AWS博客描述,后来一个更新的模型在相同任务和评分器上得分超过Model A,而每任务成本仅为Model A的约1/6。团队通过配置变更将Model A的用户迁移到新模型。在迁移后的第一个完整周,该用户群(Model A的重度用户)向主模型发送的请求数量大致相同,但该模型上的花费降至约1/7。
限流与配额
据AWS博客描述,在bedrock-runtime端点上,Bedrock在请求到达时检查每分钟token配额(tokens-per-minute quota),这发生在模型开始生成输出之前。系统会预留请求的未缓存输入token和缓存写入token,加上max_tokens(请求允许的最大输出量)。随着模型生成输出,预留量会调整,未使用的部分在请求结算时返还。
缓存读取(cache reads)不计入配额消耗,因此一个请求可能在配额层面很便宜,但在账单上很贵。输出token按一个消耗倍率(burndown rate)结算,大多数模型是1:1,但某些当前模型的倍率是数倍。AWS博客提醒用户检查各自模型的具体倍率。
博客指出,计费token仪表板可能显示仍有余量,而请求已在被限流。博客举的示例中,配额为每分钟100万token,流量为每分钟300个请求。仪表板显示已使用约30%的配额。但在应用5:1的输出token消耗倍率后,已完成请求实际消耗了约77%的配额。
准入(admission)使用的计算方式又不同。每个请求最初预留600个未缓存输入token加上4,096的max_tokens,总计4,696个token。而实际响应在p99时约为800个token。
AWS博客称,将max_tokens从4,096降低到1,024,可以将初始预留量减少到1,624个token,缩小约65%。这个限制仍然高于p99的实际输出。对于不变的输入和输出,最终的配额消耗保持不变,但更小的预留量为准入更多请求留出了空间。AWS博客建议监控stopReason以捕获被截断的响应,使用退避和抖动(backoff and jitter)策略,并限制重试次数。
等效模型与流量再平衡
据AWS博客描述,需求可能超过任何单一模型的可用容量。Airbnb的做法是:对于每个使用的主要模型,至少保持一个在评估中表现同等的等效模型(equivalent),可以将流量负载均衡过去。
AWS博客明确指出,没有这些评估结果,选择流量去向将是猜测(guesswork)。这个等效模型可以来自不同的模型家族(model family)。当某个模型的容量持续紧张时,团队可以通过更改配置中的默认设置来重新平衡流量。AWS博客提醒,在重新平衡之前需要确认等效模型有足够的容量承接额外负载,且配额覆盖。博客还提醒,要在等效模型上保留足够流量以维持访问权限:模型进入Legacy阶段后,现有客户在15天不活跃后可能失去访问权限;Legacy模型在生命周期结束(end-of-life)前可用,此后Bedrock会将其从所有Region移除,对其请求会失败,Bedrock也不会自动迁移流量。博客建议在LegacyModelInvocations大于0时告警。
花费归属:钱是谁花的
博客称,Bedrock运行时指标按ModelId划分维度,因此能看出哪个模型处理了请求,但看不出是哪个团队发出的;在Bedrock解析出模型之前就失败的请求只出现在不带ModelId维度的序列中,所以按ModelId过滤会少算错误。Bedrock提供3种归属花费的方式:按团队或用户,Bedrock在每个请求上记录调用方的IAM身份,给角色打标签或传入会话标签后,可在AWS Cost Explorer和AWS Cost and Usage Report(CUR 2.0)中按标签查看成本;按应用,为每个应用和模型创建一个打了标签的应用推理配置文件(application inference profile);按功能或提示词,在Converse的requestMetadata中传入键值对,Bedrock会把它们写入模型调用日志,但不会体现在账单上。
在网关之后,Bedrock看到的是网关的角色,因此博客建议让网关为每个用户扮演带有自己RoleSessionName或会话标签的角色,并在会话内缓存这些凭证,因为每次请求都扮演角色可能超出AWS STS的速率配额。归属失效时请求仍会成功,因此要在Bedrock未能投递调用日志时告警。Airbnb称,其使用记录可按模型、客户端、团队和用户归属用量,且仅以聚合形式用于成本和容量规划;每任务成本也由同样的4种token计数算出,因此可以比较评估与生产之间的token构成和成本。
Amazon Bedrock的角色与上线前的安全控制
据AWS博客,Amazon Bedrock的能力包括:通过统一API访问多供应商基础模型,由AWS管理模型基础设施,集成AWS访问控制和监控,在AWS内部处理提示词、代码和模型响应。Airbnb称,选择Amazon Bedrock是为了通过一个API使用多个模型家族,同时沿用现有的AWS访问控制和日志,由AWS管理模型基础设施。博客建议,上线前先界定Agent能访问什么、哪些操作需要人工审核,在隔离的工作空间中运行代码,并在合并前测试生成的变更。此外,Amazon Bedrock Guardrails可以帮助过滤提示词和响应中的有害内容和敏感信息,上下文基础检查(contextual grounding checks)可以标记无支撑的声明。AWS博客建议在自身任务上测试这些控制措施,并将其延迟和成本纳入测量。
Airbnb每次模型发布时的4项检查
博客称,Airbnb能在一夜之间从模型发布走到部署决策。Airbnb每次有模型发布都会做4项检查:
- 发布当天:在自己的任务上以每种推理努力程度运行新模型,同时记录评分和每任务成本。
- 上线前:根据这些数字选择默认值并设定努力上限;凡是比更低努力程度成本更高、评分更低的档位一律禁用。
- 最初几周:把每请求成本和每用户平均请求数与评估中的每任务成本对比,两者都按同样的4种token计数计价。
- 在需要之前:弄清哪些模型(不论来自哪个模型家族)在自己的评估中得分相同,并在再平衡之前检查它们的容量和自己的配额。
Airbnb称,它用评估为自己的工作选择模型,用可观测性判断这些选择何时需要重新审视。
主题分类:企业AI落地
参考资料
- How Airbnb uses cost per task to operate coding agents on Amazon Bedrock — AWS Machine Learning Blog, 2026-11-18