Ai2 称，5 款主流模型面对基于误解的提问时，都比人类答案更少把用户引向真正的目标；在 Stack Overflow 题上，只有 35–41% 的回答以用户真实目标为重点。据 Ai2 在 Hugging Face 官方博客发布的介绍，XYBench 是一个包含 8,115 道测试问题的基准，专门评估大语言模型对「XY 问题」的处理能力——用户想完成目标 X，却假定方法 Y 能行，于是只问关于 Y 的问题。该基准获得了 EMNLP 2026 最佳资源论文奖（Best Resource Paper Award），由 Ai2 联合卡内基梅隆大学、NVIDIA 和约翰霍普金斯大学的研究者共同开发。

要点一：Stack Overflow 上模型只有 35–41% 的回答聚焦于用户真实目标

据 Ai2 博客，评测采用单轮设置，每道题每个模型生成一个回答，人类参考回答使用同样的指标单独评估。被评测的 5 款模型为 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro。

Ai2 称，在所有 4 个数据来源上，每款模型给出字面请求（Y）解决方案的比例都高于给出真实目标（X）解决方案的比例。以 Stack Overflow 子集为例，字面请求解决方案出现在 75–86% 的回答中，而真实目标解决方案仅出现在 59–71% 的回答中。但「提到」和「以此为重心」是两回事——Ai2 在博客中举了一个例子：模型可能花好几段推荐更强力的吸尘器，最后才简短提一句检查软管是否堵塞。在 Stack Overflow 子集上，模型将重心主要放在真实目标上的回答仅占 35–41%，放在字面请求上的占 47–57%，其余回答在两者之间大致平衡。与人类参考回答相比，所有 5 款模型都更不倾向于将用户从错误方法引导至适合其目标的方案。

要点二：把真实目标直接告诉模型，误解识别率反而下降

据 Ai2 博客，研究者设计了一项 oracle 实验：在每道题旁同时提供字面请求（Y）和真实意图（X），测试明确告知意图是否能改善模型表现。在 Stack Overflow 子集上，Sonnet 4.6 给出真实目标解决方案的比例从 59% 上升到 67%，但其误解识别率从 47% 下降到 34%。Ai2 称，在拥有人类参考回答的数据来源上，所有模型在误解识别维度上仍然落后于人类。

Ai2 称，提供意图信息有所帮助，但并未持续缩小与人类回答之间的差距。这表明识别意图只是挑战的一部分——模型还需要在推断出的意图与字面请求不一致时，据此采取行动。

要点三：模型「认得出好答案」但「写不出好答案」，选择题与生成题表现差距明显

据 Ai2 博客，另一项实验测试了模型在判断回答（而非撰写回答）时的表现。研究者给上述 5 款模型加上 GPT-4.1（共 6 款），每道题提供两个候选回答：一个聚焦于字面请求，另一个解释误解并指向真实目标。在 Stack Overflow 子集上，6 款模型中每一款都在 71–84% 的情况下选择了以真实目标为重心的回答。

Ai2 称，相比之下，在主评测中 5 款模型自己撰写的回答里，仅有 35–41% 将重心放在真实目标上。这暴露了「识别有用建议」与「写出有用建议」之间的差距，这也说明仅用选择题评测会高估模型的实际表现。

一个疑问：自动评审在「语用重心」维度上的一致率是否足够支撑核心结论？

据 Ai2 博客，XYBench 使用 Claude Sonnet 4.5 作为自动化评判者，对每个模型回答中的具体建议进行分类并评估回答的语用重心。两名人工评审独立评估了 500 条模型回答，与自动评判的一致率在三个维度上分别为：是否出现解决方案 97.5–100%、误解识别 84.6–93.3%、语用重心 74.2–79.8%。

而本文报告的核心结论——模型在 Stack Overflow 上只有 35–41% 的回答以真实目标为重点——恰恰依赖的是「语用重心」这个维度的判定。这个维度的人机一致率为 74.2–79.8%，是三个维度中最低的。Ai2 博客公布了这一数据，但没有进一步讨论这一一致率水平对主结论稳健性的影响。对于一个以语用重心分布作为核心发现的基准来说，评审在该维度上约四分之一的判定与人工不一致，这个比例是否会影响模型之间以及模型与人类之间差异的可信度，原文未作说明。

主题分类：AI 评测/模型行为

参考资料

  1. XYBench: Helping with the problem behind the question — Ai2（发布于 Hugging Face 官方博客）, 2026-11-12