Agent迷失自我:Salesforce ICLR 2026研究发现,当AI Agent互相对话,70%会放弃自己的身份
想象一个场景:你把两个AI Agent连接起来,让它们协作完成一项任务。一个Agent扮演销售助理,另一个扮演技术支持。对话开始后,你期待它们能坚守各自的角色,发挥互补优势。
但实际发生了什么?
70%的对话里,其中一个Agent会放弃自己被分配的角色,开始镜像模仿它的对话伙伴。 原本应该是”销售+技术”的协作,变成了两个”技术助手”或两个”销售助手”在互相重复。
更令人不安的是:在93%的”身份失效”对话中,标准评估指标仍然显示”任务成功”。
这意味着,你的多Agent系统可能已经失效了,但你根本不知道。标准测试和监控框架没有能力发现这种失效,而它却在你的系统每次Agent间通信时悄悄发生。
这是Salesforce AI Research在ICLR 2026上发表的研究”ECHOING: Identity Failures When LLM Agents Talk to Each Other”中记录的核心现象。2026年4月23日至27日在里约热内卢举行的ICLR 2026(第十四届国际学习表征大会,Learning Representations领域最顶级的学术会议之一),Salesforce共有21篇论文被接收发表。这一研究发现,是这21篇中最具行业震撼力的一个。
ECHOING:企业多Agent系统的隐形陷阱
Salesforce团队把这种现象命名为”echoing”(回声化)——当LLM Agent相互自主交互时,它们会抛弃被分配的角色,开始镜像对话伙伴的行为和立场。
研究覆盖了2,500+次Agent对话,测试了多家主流模型提供商的模型。结论是系统性的:
- 70%:多个主流模型提供商的回声化发生率上限
- 93%:身份失效对话中,标准成功率指标仍显示”通过”的比例
- 推理模型:对这一问题改善”极为有限”
- 结构化响应:能降低发生率但无法根除
这三个数字组合在一起,描述了一个令人深思的风险组合:频繁发生、难以检测、现有工具改善有限。
论文被接收到ICLR 2026的”Agents in the Wild: Safety, Security, and Beyond”研讨会,这个研讨会的定位本身就说明了问题的严重性——它是安全与对齐研究的前沿阵地,而非一般的应用AI研讨会。
为什么这个研究现在特别重要
这个发现的时机,恰好撞上了企业AI部署的关键转折点。
2026年,各大科技巨头都在大力推进多Agent架构:Salesforce的Agentforce正在把Agent引入企业销售和服务流程;微软的Azure AI Agent Service和Office Agent Mode于近期上线;AWS于2026年4月初发布了AgentCore平台(来源:AWS官方博客),专门为企业多Agent系统提供基础设施;OpenAI的GPT-5.5(来源:OpenAI 2026年4月23日官方公告)则以”可以规划、使用工具、自主完成任务”作为核心卖点。
所有这些方向都指向同一个目标:让多个专业化AI Agent相互协作,完成人类难以手动编排的复杂任务。
但ECHOING研究揭示了这个前景中的一个基础性漏洞:当我们假设Agent能够坚守自己的角色分工时,这个假设本身就是脆弱的。
一个多Agent销售流程可能是这样的:数据分析Agent提供客户画像,沟通Agent起草邮件,审核Agent检查合规性。但如果沟通Agent和审核Agent在交互过程中发生回声化,两者都变成了”只关注合规”的Agent,那么这个流程的销售效果可能已经损失殆尽——而系统告诉你”所有步骤已完成,任务成功”。
这不是一个边缘案例。这是Salesforce测试2,500次对话得出的系统性结论。
Salesforce ICLR 2026:21篇论文的整体图景
ECHOING只是Salesforce在ICLR 2026的21篇接收论文之一。从整体布局来看,这21篇研究描绘了Salesforce AI Research对企业AI当前最重要挑战的判断。
Agent架构:从GUI到多Agent协调
SCUBA(Salesforce Computer Use Benchmark)是本次发布中最具实测意义的工作。研究团队在300个真实Salesforce CRM任务上评测了计算机使用Agent的能力,涵盖管理员操作、销售流程和客户服务三个核心业务维度,结果令人清醒:
- 开源模型零样本成功率:不到5%
- 闭源模型零样本成功率:39%
- 闭源模型加演示后:50%,同时节省时间和成本13-16%
这些数字打破了”AI已经可以自主操作软件”的乐观叙事。在真实企业CRM环境中,即使是最好的闭源模型,成功率也只有50%——这意味着每两次任务里就有一次需要人工干预或任务失败。对于声称”AI可以完全自主处理复杂业务流程”的商业主张,SCUBA的数据提供了一个重要的现实校正。
SCUBA的另一个重要贡献是方法论上的:它提供了一个在真实企业软件环境中评测Agent能力的可重复基准。过去,AI Agent的能力评估往往依赖通用的、理想化的任务(如网页搜索、代码编写),而非真实工作场景中的复杂操作。SCUBA把评测锚定在真实的Salesforce CRM任务上——包括管理员配置、销售流程操作和客户服务请求处理——这使得其结果对企业决策者更有直接参考价值。SCUBA的数据也揭示了开源模型和闭源模型之间的显著差距:零样本成功率5%对39%,这个8倍差距表明,对于复杂企业软件操作,当前开源模型仍然远落后于最优闭源系统。
CoAct-1(多Agent计算机使用系统)通过组合GUI控制和程序化执行,在OSWorld基准上达到60.76%成功率(新的最高水平),同时把平均步骤数从15减少到10.15。这是目前已知的最强多Agent计算机使用框架之一,证明了多Agent协作在某些任务上确实能超越单Agent性能上限。
GTA1(GUI测试时缩放Agent)引入了针对GUI Agent的测试时缩放技术,通过强化学习驱动的多候选动作提案和精准的视觉定位(grounding),在跨平台自主任务完成上达到当前最先进水平。这项研究特别值得关注,因为它把”测试时缩放”这个在大语言模型领域已经验证有效的技术路径,首次系统性地引入了GUI操作场景。
推理与评估:真实企业AI的基础性挑战
NuRL解决了强化学习在推理提升中的一个核心瓶颈:标准GRPO方法在模型遇到”无法解决的”问题时会陷入停滞。NuRL通过自生成提示解锁这些困难问题的学习信号,在六个基准和三个模型上实现了一致改进。
FARE(基础自动评估器)在2.5M样本上训练,设立了开源评估器的新标准:8B参数模型能与更大的RL训练模型媲美;20B模型超越了70B+的评估器,在MATH基准上实现14.1%的下游RL改善。这直接关系到自动化AI训练和评估的可靠性。
Elastic Reasoning在受约束场景下把推理链分为独立预算的”思考”和”解答”两个阶段,优先保证解答完整性,以更低训练成本实现稳健性能。
语音AI和多语言:不只是英文文本
SpeechVerse-R1和SymbolicSTAR等研究显示Salesforce在语音理解和音频推理上的持续投入——这对于构建真正多模态的企业Agent系统至关重要,因为工作场景中大量信息通过语音传递(电话、会议记录、客服录音)。
安全性:信任危机的技术回应
除了ECHOING,Identity Robustness Under Semantic Attacks研究系统性分析了语义攻击如何突破Agent的身份边界,为多Agent系统的安全防护提供了理论框架。
三层洞察
第一层:”Agent互操作性”的技术负债
2026年,科技行业的一个共识是:未来的AI系统将由多个专业化Agent组成,它们相互通信、协作完成任务。这个愿景推动了Salesforce Agentforce、AWS AgentCore、Microsoft的多Agent框架的相互竞争。
但ECHOING研究提示了一个被轻描淡写的技术负债:Agent之间的通信协议本身是不安全的。当前的LLM Agent架构在设计时,并没有充分考虑到”如何确保Agent在与其他Agent交互时保持角色一致性”这个问题。
这不是模型不够好的问题——Salesforce测试的是”主要模型提供商”的模型,包括了市场上最好的系统。这是一个根本性的架构问题:LLM的自然倾向是在对话中趋同,而多Agent系统的有效性恰恰需要角色分异。
第二层:企业AI验收标准的失效
ECHOING研究中最令人警觉的不是70%的回声化率,而是93%的隐性失效率。
企业在部署AI系统时,通常依赖自动化指标来衡量成功:任务完成率、响应时间、错误率。但ECHOING发现,这些指标在多Agent系统中可能严重误导。一个完全失效的多Agent流程——两个Agent相互镜像,失去各自专业化——仍然可能在标准指标上显示”成功”。
这意味着企业对多Agent系统的验收标准需要从根本上重新设计。单一任务维度的成功率不够——还需要测量角色一致性、专业化保持度、跨Agent行为多样性等维度。这些评估框架目前几乎都不存在。
第三层:AI安全的新前沿是身份而非对齐
AI安全讨论长期聚焦于”对齐”——确保AI的行为符合人类价值观和意图。但ECHOING研究揭示了一个新维度:身份稳定性(identity robustness)。
在单Agent场景,对齐问题是:如何确保AI不做不应该做的事?
在多Agent场景,还有一个新问题:如何确保AI保持它被分配的角色?
一个被设计为”专注于合规审查”的Agent,在与”专注于销售”的Agent交互后,可能逐渐转变为另一个销售导向的Agent。这不是”做了坏事”,而是”失去了自己”。在关键企业流程中,这种身份漂移可能导致系统性的功能失效。
Salesforce的ECHOING研究是第一批系统性记录这一现象的学术工作之一。它指向的方向是:AI安全需要扩展到”身份安全”这个新维度,而且这个问题的优先级可能需要大幅提升。
对企业AI部署的直接影响
基于ECHOING研究,可以为正在构建或评估多Agent系统的企业提出几个具体建议:
立即行动:对现有的多Agent流程,增加角色一致性测试——在标准任务成功率之外,验证每个Agent是否在整个流程中保持了被分配的专业化定位。这不需要新工具,只需要重新设计测试用例。
架构设计:在多Agent系统设计阶段,主动引入”角色锚定机制”——可以是结构化的系统提示强化、可以是周期性的角色自我验证检查、也可以是监督Agent对其他Agent的行为监测。
评估框架:企业AI评估标准需要增加多样性维度——衡量不同Agent之间的行为差异是否保持在合理范围内。过于相似的行为模式,往往是回声化正在发生的信号。
供应商询问:向Salesforce、Microsoft、AWS、OpenAI等平台厂商询问他们如何处理多Agent身份稳定性问题。这个问题目前大多数厂商没有给出清晰答案,主动询问可以推动他们更快开发解决方案。
被低估的市场机会:Agent安全工具链
ECHOING研究所揭示的多Agent安全问题,同时也指向一个目前被严重低估的市场机会:Agent安全工具链。
当前的AI安全市场主要聚焦于两个方向:大模型对齐(防止模型输出有害内容)和数据安全(防止敏感数据泄露)。但随着多Agent系统成为企业AI的主流部署形式,一个新的安全需求层正在形成:多Agent行为监控与角色完整性保障。
这个需求目前几乎没有专门的工具解决方案。企业部署多Agent系统时,要么依赖平台厂商内置的有限监控能力,要么自己开发临时性的检测脚本,没有系统性的角色稳定性保障机制。
基于ECHOING研究揭示的问题维度,可以预见这个细分市场的几个核心产品方向:
- 实时角色漂移检测(Real-time role drift detection):在多Agent对话过程中实时监控每个Agent的行为模式,当检测到回声化信号时及时告警;
- Agent身份压力测试(Agent identity stress testing):在部署前模拟高压对话环境,测试各Agent在对抗性交互下的身份稳定性,生成可量化的身份稳定性评分;
- 多Agent行为审计日志(Multi-agent behavioral audit logging):记录并分析多Agent流程中的角色一致性变化历史,提供可回溯的行为审计轨迹。
Salesforce的ECHOING研究,实际上是在无意中为这个安全工具链市场做了最好的需求调研报告。从某种角度看,Salesforce公开发表这篇研究,是一个值得尊重的行为——他们选择把内部发现的系统性问题公开化,接受学术社区的审视,而不是把这个问题压在内部。这种透明度,是推动整个行业解决这个问题的必要前提。
与行业方向的深层碰撞:多Agent架构的安全成熟度在哪里
ECHOING研究发布的时间点,恰好与整个行业大规模押注多Agent架构高度重合。理解这一碰撞的意义,需要审视当前行业共识与实际技术现实之间的距离。
当前行业共识:多Agent系统是企业AI的未来。每家主要平台商都在构建自己的多Agent框架:Salesforce的Agentforce将不同专业的Agent组合成端到端业务流程;微软的Azure AI Agent Service和刚上线的Office Agent Mode使Agent能够主动操作文档和数据;AWS的AgentCore提供多Agent协调的基础设施层;OpenAI的GPT-5.5强调的核心能力就是”规划、使用工具、自主执行”。
行业的默认假设是:专业化的Agent分工 + 清晰的协作协议 = 可靠的多Agent系统。
ECHOING揭示的现实:这个假设缺少一个关键验证——Agent在被分配专业角色后,能否在与其他Agent的持续交互中保持这个角色?
测试结果是否定的。在2,500+次受控对话中,70%发生了回声化,而93%的问题对话被标准指标误判为成功。这不是某个模型的特例,而是当前LLM架构的系统性倾向。
更精确地说:LLM的训练目标是”在对话中做出连贯的下一步预测”,而这个目标自然地导向对话趋同。模型被训练成”好的对话者”,但在多Agent场景中,好的对话者不一定是好的角色扮演者。
结构性矛盾:多Agent系统需要角色分异(specialized differentiation),而LLM的自然倾向是对话收敛(conversational convergence)。这两个目标在根本上存在张力,而当前的Agent框架没有系统性地解决这个矛盾。
这解释了为什么”推理模型”对问题几乎没有帮助——更强大的推理能力不能解决身份漂移,因为身份漂移是对话过程的自然产物,不是推理能力不足的结果。
对行业标准制定的影响
ECHOING研究的深远影响,可能在于它将推动行业重新审视多Agent系统的测试和验收标准。
目前,企业AI系统的评估通常依赖三类指标:
- 任务成功率(Task completion rate):Agent是否完成了被要求完成的任务?
- 响应时间(Latency):系统响应速度是否满足SLA要求?
- 错误率(Error rate):系统出现明显错误或失败的比例?
ECHOING研究揭示,这三类指标在多Agent系统中全部可能失效——一个发生了严重回声化的多Agent流程,可能在所有三个维度上都表现良好,同时完全丧失了多Agent协作的预期价值。
这需要引入新的评估维度:
- 角色一致性指标(Role consistency score):Agent在整个会话过程中,是否保持了被分配角色的特征行为模式?
- 行为多样性指标(Behavioral diversity index):在同一多Agent流程中,不同Agent之间的行为差异是否保持在合理范围内?差异过小,往往意味着回声化正在发生。
- 专业化保持率(Specialization retention rate):在多轮交互后,各Agent的专业化特征是否还能够被识别出来?
这些指标目前几乎没有被任何企业AI平台内置,也没有成为行业评估标准的一部分。ECHOING研究的发表,可能是推动建立此类标准的一个重要学术起点。
Salesforce在ICLR 2026的21篇论文,不只是一份研究成果清单,而是一份关于”企业AI当前最重要挑战”的优先级声明。
从选题分布来看:Agent架构的可靠性(SCUBA、GTA1、CoAct-1)、推理的可验证性(NuRL、FARE、Elastic Reasoning)、以及Agent间交互的安全性(ECHOING)——这三个方向共同指向一个核心判断:企业AI的瓶颈已经从”模型能力”转移到”系统可靠性”。
更大的模型不再是答案。更可靠的Agent架构、更诚实的评估框架、更安全的多Agent协议——这才是2026年企业AI必须跨过的门槛。
ECHOING研究所揭示的身份失效问题,可能在未来几年内成为企业AI部署中不得不正视的关键挑战。70%的回声化率,意味着这个问题的规模足够大;93%的隐性失效率,意味着它的危险性足够严重;推理模型和结构化响应都无法根除,意味着它需要架构层面的系统性解决方案。
Salesforce选择把这篇研究投向ICLR的研讨会——而不是只发布在公司博客——是一个值得注意的信号。这说明问题的严重性已经超出了单家公司的能力范围,需要整个学术和工程社区共同关注和研究。公开发表研究来揭示自己产品生态中的潜在缺陷,需要一定的机构勇气,但这正是推动整个行业系统性解决此类问题的必要前提——比等待用户发现问题、在生产事故中积累代价,要负责任得多。
研究者已经发出了预警。下一步,是工程师、产品团队、和企业决策者把这个问题放进他们的优先级列表。
对三类读者的实操建议
如果你是构建多Agent系统的工程师: ECHOING研究建议从以下几个层面开始应对:一是在系统提示设计阶段,增加明确的”角色锚定指令”,并在每轮Agent间通信时周期性重申角色定义;二是在测试阶段,专门设计”角色压力测试”场景——让两个Agent进行长时间连续交互,验证每个Agent在第10轮、第20轮、第50轮后是否仍能保持角色特征;三是在生产监控阶段,增加行为多样性监控维度,设置当不同Agent输出高度相似时的告警机制。目前Salesforce的研究已经证明,推理模型和结构化响应可以降低(但无法消除)回声化,因此”降低”是当前可行目标,”消除”还需要架构创新。
如果你是负责评估或采购多Agent平台的决策者: 把ECHOING的测试场景加入到你的厂商评估清单中。询问每个平台商:”你们的多Agent框架如何防止身份漂移?你们有没有针对回声化的内置检测机制?你们是否在真实业务场景中验证过角色一致性?”目前大多数平台商没有清晰答案,这本身就是一个重要的信号。在内部AI系统的验收标准中,增加”角色一致性验证”这个维度——不能只看任务完成率,还需要看各Agent是否保持了预期的专业化定位。SCUBA基准测试的数据也值得关注:即使是最好的闭源模型在真实CRM任务上的成功率也只有50%,这意味着任何宣称接近100%成功率的多Agent方案都值得仔细审查。此外,建议在合同谈判阶段就要求厂商提供多Agent身份稳定性的测试报告,这既能保护你的利益,也能推动厂商更重视这个问题。
如果你是关注AI安全的研究者或投资人: 多Agent身份安全(multi-agent identity security)可能是AI安全领域下一个重要的细分研究方向。ECHOING研究是一个非常好的起点,但它揭示的问题比它提供的解决方案要深得多。这个方向的学术空间广阔:身份稳定性的理论框架、角色漂移的检测算法、架构层面的防漂移机制,都还是未被充分探索的领域。对于投资人而言(以下为作者判断,非事实性表述),专注于多Agent可靠性和安全性的工具链公司,可能是当前AI基础设施投资中一个被严重低估的细分赛道——在所有人都在争抢大模型投资的时候,帮助大模型”正确地工作在生产环境”的基础设施层,可能是更确定性的价值创造机会。
值得注意的是:2026年的AI安全焦点,正在从”防止AI做坏事”(单Agent对齐)向”防止AI系统整体失效”(多Agent可靠性)迁移。这不是AI安全研究范式的细节调整,而是一个根本性的视野扩展——从对单个Agent行为的监控,到对Agent生态系统整体健康状态的保障。ECHOING研究是这个扩展方向上的一个重要里程碑,它用2,500次实验证明了一件事:在多Agent系统中,即使每个Agent单独表现良好,它们之间的交互本身也可能成为系统失效的来源。这是AI系统工程领域一个此前未被充分重视的”涌现失效”(emergent failure)模式,值得整个行业认真对待。
附录:Salesforce ICLR 2026 关键论文一览
本文重点分析了ECHOING和SCUBA两篇核心论文。完整的21篇接收论文覆盖以下七个主要方向,供读者参考:
Agent架构与GUI Agent:GTA1(GUI测试时缩放)、WALT(网页Agent工具学习)、SCUBA(CRM基准测试)、CoAct-1(多Agent计算机使用系统)、Grounded Test-Time Adaptation(环境适应性学习)
推理与评估:NuRL(强化学习推理突破)、Variation in Verification(验证机制分析)、FARE(基础自动评估器)、On the Shelf Life of Fine-Tuned LLM Judges(评估器时效性)、Elastic Reasoning(弹性推理链)、HyRea(连续token推理)
语音AI与多语言:SpeechVerse-R1(语音推理)、SymbolicSTAR(音频符号推理)、Self-Supervised PolySlot(多语言语音理解)
多模态与感知:VisRAG(视觉检索增强生成)、PRM-Bench(过程奖励模型评测)
高效AI与压缩:Speculative Streaming(推测性流式生成)、SpAtten-MoE(稀疏注意力混合专家)
安全与鲁棒性:ECHOING(Agent身份失效)、Identity Robustness Under Semantic Attacks(语义攻击下的身份鲁棒性)
ICLR 2026的完整论文列表和研讨会信息,可在官网 https://iclr.cc/Conferences/2026 查阅。
参考资料
- Salesforce AI Research: “Salesforce AI Research at ICLR 2026” (2026-04-23) — 本文Salesforce数据的一手来源,包含21篇论文列表和摘要,官方博客直接引用 - https://www.salesforce.com/blog/salesforce-iclr-2026/
- ICLR 2026 官方网站 — 第十四届国际学习表征大会(International Conference on Learning Representations),2026年4月23-27日,里约热内卢 Riocentro 会议中心 - https://iclr.cc/Conferences/2026
- ECHOING论文原文(arXiv预印本,含2,500+次对话实验数据)— “ECHOING: Identity Failures When LLM Agents Talk to Each Other”,作者:Sarath Shekkizhar, Romain Cosentino, Adam Earle, Silvio Savarese - https://arxiv.org/abs/2511.09710
- SCUBA论文原文 — “SCUBA: Salesforce Computer Use Benchmark”,300个真实CRM任务测试,开源模型5% vs 闭源模型39% vs 50%(带演示)成功率数据来源 - https://bit.ly/4hr6zIj
- Agents in the Wild Workshop at ICLR 2026 — ECHOING论文被接收的研讨会主页,定位为Agent安全性和对齐研究前沿 - https://agentwild-workshop.github.io/
- OpenAI GPT-5.5 官方公告 (2026-04-23) — GPT-5.5产品特性的原始来源 - https://openai.com/index/introducing-gpt-5-5/
- AWS AgentCore 发布博客 (2026-04-09) — AgentCore多Agent基础设施平台的原始来源 - https://aws.amazon.com/blogs/aws/introducing-amazon-bedrock-agentcore/