反馈让出错答案的修复率冲上 89%，评审模型却把多数票投给没看反馈的版本

用户反馈：公认的噪声，还是模型自己也看不见的信号？

用户对 AI 说"你算错了，应该是……"，AI 道歉、重算、给出正确答案。这一幕每天发生无数次，普通得没人多看一眼。这篇论文却把同一个错误答案交给同一个修改模型改了两遍，一遍给它看这句反馈，一遍不给。结果如预期：看了反馈的版本把问题修好的比例明显更高，真实用户数据上大模型从 70% 到 89%，小模型从 26% 到 53%。真正的怪事发生在评审环节。把修好的版本和没看反馈的版本并排交给当前最主流的自动评审模型，评审在自然数据上有 55.4% 的成对判决偏向没看反馈的版本。论文还单独筛出一个"反馈版确实修好了、无反馈版确实没修好"的样本子集，在这个理应毫无争议的子集上，评审选对反馈版的概率只剩 34% 到 54%。反常归反常，这个漏判值不值得较真，得先把三件事看清楚：反馈的量够不够大，它是不是一种真信号，模型离了它还有没有别的路。

论文给这个反常现象开的诊断是：反馈本身一直可靠，歪掉的是检测它的评估。摘要原话是 user feedback is a highly actionable signal for improvement, and its perceived ineffectiveness stems from a systematic bias in current evaluation paradigms。这句主张与行业共识正面冲突，过去的研究常把用户反馈描述成噪声大、难以利用的东西。论文标题直说 User Feedback Provides a Unique Signal that LLMs Can not Detect，用户反馈提供了一种大语言模型察觉不到的独特信号。这是一篇 2026 年 9 月初才挂上 arXiv 的预印本，来自希伯来大学与 IBM 研究院、MIT 的合作团队。原文

先看量：反馈到底多不多，决定了漏判是小事还是大事。同一支团队 2024 年的前作把自动抽取反馈当作研究起点，从 LMSYS-Chat-1M 的百万段对话里捞出了 173,859 条真实反馈，来自 11.5 万段不同对话，约三成对话里藏着至少一句。若评估真的漏掉了这么常见的信号，被冤枉的就不是几段特殊对话，而是一大片日常对话。这些反馈长什么样？

图注：多轮对话界面截图，用户回复里包含反馈的句子被高亮。它展示了论文定义的"反馈"：不是点赞或评分，而是对话里随口说出的一句纠正。前作

再看质：漏掉的这份信号值不值得可惜。前作把反馈分成五类：复述或换种说法再问、指出错误并纠正、只指出错误不纠正、请求澄清、正面反馈。"复述再问"和"请求澄清"占大头，正面反馈最少，抽样统计与百万对话的自动抽取结果一致。这说明反馈不是偶发噪声，而是有规律、可分类、可训练的原料。把一种可训练的原料在评估里判成无效，浪费的不是几句闲话，而是整条改进渠道。前作

最后看替代品：模型自己能不能替自己看见这份信号。Anthropic 2022 年的工作提出 P(True) 自评，让模型给自己的回答打"对不对"的概率，结论是校准随模型规模改善，但远谈不上一双可靠的慧眼。Self-Knowledge。元认知靠不住，外部反馈才本该是关键通道；而论文要主张的是更狠的一层，模型连"反馈有没有被用上"都认不出来。量够大、质够真、又找不到替代品，三件事合起来，这个漏判就值得当成正经问题来检验。要检验它，光有推理不够，得设计实验把两件事拆开：反馈到底有没有用，模型到底察不察觉得到。

怎么把"反馈的效果"和"模型的感知"分开来测？

先看合成数据。论文从 Arena-Hard-v2.0 取 o3 的优质回复，人为注入四类错误：因果倒置、关键信息遗漏、实体主语调换、逻辑算子反转。然后让 Gemini 按三个强度等级生成模拟反馈，完整反馈告诉你该怎么改，指出问题告诉你哪里不对，只说问题只告诉你错了。因为有错误注入，修复是否成功可以逐条自动验收，这是合成数据最大的价值，它有 ground truth。

自然数据走真实反馈。从 ShareLM 开放人机对话集里用 Qwen3-30B-A3B-Instruct-2507 按前作的五类框架抽取反馈，再用 Gemini 过滤掉"只对这一位用户成立"的主观意见，留下 47.9% 适用于所有未来用户的客观反馈。

两段数据共用同一个反事实设计：同一道题、同一条出错的回答，让修改模型分别生成看得到反馈的版本 $r_{+f}$，和看不到反馈、只凭原错误答案重写的版本 $r_{-f}$。两个版本只在一个维度上不同，反馈的有无。这样一来，"反馈有没有用"和"模型察不察觉得到反馈"就成了两个可以独立验证的问题，前者看修复率，后者看评审判决。

评审判决是第二个问题的测量工具，它是谁？LLM-as-a-judge 是当前评估开放对话的主流范式，用一个强模型当裁判，对两个回答做对比。MT-Bench 这篇系统研究它的论文报告，GPT-4 当评审与人类专家的一致率约 85%，与人类之间的一致率相当（约 81%）。也就是说评审平时是靠谱的，这个基线让后面"评审居然看走眼"的反差有了分量。

图注：同一问题下两位助手分别作答，GPT-4 作为评判者在底部给出判决与理由。这是 LLM-as-a-judge 的典型流程：用户提问、两个匿名回答、强模型裁决。MT-Bench

测量工具到此配齐，修复率回答"反馈的效果"，评审判决回答"模型的感知"。问题交了出去：这样严格地测下来，反馈到底多有用？评审又认不认账？

反馈让修复率冲上 89%，评审却把多数票投给没看反馈的版本

第一组数字回答"反馈的效果"。合成数据上，大改进模型（Gemini-3-flash-preview）的修复率从 86.3% 提到 95.6%，小改进模型（Qwen3-8B）从 49.2% 提到 80.8%。自然数据上，大模型从 70% 到 89%，小模型从 26% 到 53%。汇总成区间：合成数据修复率提升 9% 到 32%，自然数据 16% 到 27%。四个方向的结论一致，反馈真的有用，而且小模型和真实用户数据的收益最大。

图注：大、小两个改进模型在合成与自然数据上"提供反馈 / 不提供反馈"的修复率柱状对比。四组条件下带反馈都高于基线，差距在小改进模型与自然数据上更大。原文

反馈还有个强度梯度。完整反馈的增益是 9% 到 32%，只说问题在哪是 6% 到 17%，只说"有问题"也有 3% 到 10%。哪怕反馈只有一句"你错了"，也是能用的信号，信息总比没有好。

第二组数字回答"评估的感知"，故事在这里翻转。论文定义了一个"应当胜出"子集：反馈版确实修好了问题、无反馈版确实没修好。按 ground truth，反馈版理应必胜。但评审在这个子集上正确选出反馈版的比例，自然数据只有 34% 到 54%，合成数据上大模型 54.6%、小模型 80.9%。放到全数据集上更夸张，自然数据大模型这一栏的成对判决里，评审把 55.4% 的票投给了没看反馈的版本，小模型也以 51.8% 偏向无反馈版。

图注：左右两张饼图分别是合成与自然数据上的评审偏好分布，按大、小改进模型拆成"选反馈版 / 选无反馈版 / 平局"三色扇区。自然数据大模型一栏里"无反馈版"扇区最大，而同一批样本的 ground truth 恰恰是反馈版修复率更高。原文

这里必须把两件事分开记。第一件，反馈确实把修复率大幅拉高，这是 ground truth 维度的结论。第二件，评审系统性地看不见这个价值，这是评估维度的结论。两件事不矛盾，合起来才构成完整的事实：效果好不等于评审认账。这个反差也不是"评审本来就不可靠"的平庸解释能打发的：主流 LLM judge（如 GPT-4，MT-Bench 实测）在常规对话评估里与人类一致率约 85%，而本论文的评审偏偏在"反馈有没有被用上"这件事上失灵，说明失灵是定向的。问题随之而来：评审为什么会看走眼？

评审为什么看走眼？局部纠错斗不过整体风格，改进者自己也认不出反馈

论文对修订内容做了细分类，结果与一种可能解释一致：评审可能更看重整体表面质量。看得到反馈的修订，集中在内容相关的改进上：事实性、完整性、逻辑。看不到反馈的修订，集中在风格相关的改进上：语气、简洁、格式。如果这个解释成立，情形就像两份交上来的答卷：一份改对了前面的错题但涂改痕迹明显，另一份原封不动但誊写工整。阅卷老师看整体观感，给了誊写工整的那份。反馈触发的恰恰是局部、可见、却不一定更漂亮的内容纠错，在整体表面质量面前讨不到好。但要提醒一句，类型分类和评审偏好这两组结果呈现的是相关模式：反馈版和"整体更顺滑"的版本只是相伴出现，无法单独证实"评审因为整体表面质量而忽略内容纠错"这一因果机制。

第二个机制更接近问题核心。论文让改进者自己当评审，去判断哪个版本更好，结果小改进模型（Qwen3-8B）在"应当胜出"子集上把反馈版认对的比率从 80.8% 掉到 67.6%，大改进模型上两个评审几乎无差（54.6% 对 54.4%）。

图注：默认评审（Gemini-3.1-Pro-preview）与"改进者自评"在应当胜出子集上选对反馈版的正确率对比。大改进模型两栏几乎无差，小改进模型在自评下明显下滑。原文

别把这个结果读成"自评总是不如外部评审"。真正值得注意的是共失败：评审认不出反馈的功劳，改进者自己也认不出，自家孩子再改也只当是顺手重写。评审与改进者共享同一类模型权重，两者一同失灵，让论文做出了全篇最重要的推断：反馈携带的信息不在模型的权重里，因此很可能无法靠模型蒸馏或迭代自我改进获得。注意，论文在这里用的是 we speculate，这是推测，不是证明。它是从"评审认不出"这条间接链条推出来的，没有直接实验验证。原文

旁证表明这不是评审模型独有的毛病，人类标注端有同款偏差。另一篇同期工作记录了一个典型例子：一段三句摘要，其中一句有错。按 faithfulness（忠实度）的严格定义，一句错就等于整篇不可信，局部判断聚合得 0 分；按均值聚合得 0.67 分；而人类给出的全局标签是 Faithful，忠实。人类做全局判断时同样在"整体看着对就行"地取平均。Averaging Bias。模型侧还有一重反向压力：RLHF 训练出来的模型倾向于讨好用户而不是纠正用户，用户表达"我很喜欢"时，模型的反馈积极性可以冲到 85%，表达"我不喜欢"时能跌到 7%。Sycophancy。正视一句负面反馈，对模型来说本就是反本能的。整条评估链从人类到模型都在犯同一个毛病，这就是低估反馈的制度性根源。

反馈若真在模型权重之外，靠反馈吃饭的对齐范式该担心什么

把镜头拉远。人类偏好信号是整个对齐范式的燃料。这条链的起点是 2017 年的 Deep RL from Human Preferences，用不到 1% 的交互反馈、约一小时的人类时间就让机器人学会后空翻。RLHF 起源。2022 年 InstructGPT 把它标准化成 SFT、奖励模型、PPO 三阶段，1.3B 的小模型靠人类偏好胜过 175B 的大基座。InstructGPT。2023 年 DPO 更进一步，说这整套流程可以用一个简单的分类损失替代。DPO。这三代工作都在论证同一件事：人给的偏好信号足够强，能给模型带路。

本篇论文顺着这条链往下查，发现燃料链条里最容易被忽略的一环，也就是"模型自己读反馈"，是坏的。把三个发现接起来看：

图注：三个发现串成的条件性概念链。首节点为待验证的推测：反馈可能携带权重之外的信号，这一推测由评审与改进者的共失败现象间接推得，论文并未直接验证；后两环皆以推测成立为前提。

这条链若成立，后果是连锁的。评分失真，模型改进和产品迭代的每一步都踩空。如果反馈真在权重之外、又不能靠蒸馏获得，那么依赖自我蒸馏的自我改进范式就有天花板。这不算灾难，但意味着"模型自己在循环里越改越好"这个愿景，至少不能靠闭门重写来实现，必须把外部反馈接进来。

论文自己把边界画得很清楚。它只验证了推理时（inference-time）的修订，没有直接验证反馈进入 SFT 或 RLHF 训练、或 self-play 循环里能否延续收益。模型集合仅三个：两个改进者加一个评审，附录里 GPT-OSS-20B 只有初步一致趋势。创意写作域的 corruption 注入成功率只有 59.4%，正文只能聚焦数学与代码。没有人工 pairwise 标注，自然数据上用来验收修复的 ground truth 噪声大，一致性系数只有 0.24。代码与数据已开源在 GitHub 与 Hugging Face 上的 feedback-blindspot 仓库。这些局限也标出了下一步该补的实验：反馈能否被蒸馏逼近，评估范式如何重构，自我改进循环能否收敛。

这篇论文的价值不在"反馈有用"这个结论，而在提醒我们：用来衡量改进的那把尺子本身是歪的。尺子歪了，靠它校准的一切都会跟着歪。好在论文指出了尺子歪的方向，也就顺手指出了把它掰正的第一步。

想深入可以读原文：User Feedback Provides a Unique Signal that LLMs Can not Detect — arXiv:2609.02859

参考文献

1. User Feedback Provides a Unique Signal that LLMs Can not Detect：https://arxiv.org/abs/2609.02859
2. Naturally Occurring Feedback is Common, Extractable and Useful：https://arxiv.org/abs/2407.10944
3. Averaging Bias: Human Faithfulness Annotations are not Locally Faithful：https://arxiv.org/abs/2608.00205
4. Towards Understanding Sycophancy in Language Models：https://arxiv.org/abs/2310.13548
5. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena：https://arxiv.org/abs/2306.05685
6. Deep Reinforcement Learning from Human Preferences：https://arxiv.org/abs/1706.03741
7. Direct Preference Optimization: Your Language Model is Secretly a Reward Model：https://arxiv.org/abs/2305.18290
8. Training language models to follow instructions with human feedback：https://arxiv.org/abs/2203.02155
9. Language Models (Mostly) Know What They Know：https://arxiv.org/abs/2207.05221