Why Language Models Hallucinate ?

type

date

slug

summary

Fast Review

TLDR

帮我用简单的话去描述一下这篇文章的摘要，说清楚这篇论文的主要内容。short for Too Long, Don’t Read

模型的幻觉产生，来自于 pre-training 也来自 post-training

在 pre-training 阶段，存在数据学习上的统计错误，例如一个人的名字和他的生日，并没有规律，模型在学习过程中难以去评估他学习的事实是否是合理的。

在 post-training 阶段，虽然加入了人类偏好来规避幻觉的产生，但是奖励的设计和回答的评判，都为幻觉的产生有贡献，模型不会评估自己回答带来的负面因素，在遇到不确定的问题时，更倾向于猜测答案（生成看似合理的答案），而不是回答不知道（I dont knwo）。因为在当前的主流评估体系中，评价更像是一个考试，回答正确得分，错误不扣分，这样会引导模型遇到不确定问题时，偏向于猜测（猜对有分，猜错无所谓，得分期望大于0），这也就间接导致了模型在回答时产生幻觉。

Notes Taken

LLM 幻觉是“统计必然 + 激励错配”的双重产物：预训练阶段难以从文本中可靠学到长尾事实；后训练与评测又经常奖励“敢答”而非“承认不确定”。

预训练阶段的来源

长尾与单例事实不可学：如“姓名→生日”这类映射在语料中近似任意函数，给定名字几乎没有可泛化的统计规律，模型只能依据先验“猜最常见的模式”。
统计学习与事实有效性错位：下一词预测只拟合“文本似然”，并不直接等同于“事实正确性”，在信息不足时会生成看似常见但可能错误的内容。
覆盖与噪声：冷门事实覆盖稀缺、表述多样导致稀疏；大规模抓取不可避免含噪，模型会继承并放大这些偏差。

后训练（人类偏好/奖励优化）阶段的来源

奖励信号偏好“完整与肯定”：RLHF/DPO 等常把“有用、流畅、给出答案”排在“保守、承认不确定”之前，弱化了在不确定时说“我不知道”的策略。
评测与激励错配：多数基准要么强制作答、要么不给“IDK/弃权”正信用，导致在必须回答的条件下，理性策略是猜测（因为不猜必得0，猜对有正收益）。
错误成本未显式建模：训练目标通常不区分“错答的负效用”与“正确的正效用”，缺少风险敏感或校准目标，促使模型在不确定时也输出自信答案。

改进方向

在评测中引入显式置信阈与错误成本，对合规的 IDK/弃权给正当信用，鼓励不确定时不作答。
在后训练中加入不确定度监督与拒答数据，优化行为校准（低置信→IDK），并在高风险场景叠加检索/校验。

Key takeaways

Summary

zhuanlan.zhihu.com

My Note

AI-assistant Summary

AI agent : gpt-5

帮我总结一下这几个问题：

1. Task：这篇文章所做的任务是什么？ (包括输入、输出，一般用于哪些场景中)

论文目标与问题定义

原文：“We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline.”（Abstract）
原文：“Hallucinations need not be mysterious—they originate simply as errors in binary classification.”（Abstract）
补充：作者把“幻觉”形式化为“可接受表述空间X中的错误子集E”。他们既分析预训练如何导致错误（包括幻觉），也分析后训练阶段为何强化“猜测”而非“不确定/IDK”。他们的“输入”是提示-响应对x=(c,r)，c为prompt，r为回应；“输出”是对生成是否为有效V或错误E的判断及其统计下界/上界。他们提出一种监督学习（IIV二分类）到生成建模的“归约”，并给出生成错误率与IIV误分类率之间的定量关系。

形式化设定（含prompt）

原文：“We consider general sets of errors E, an arbitrary subset of plausible strings X=E ∪ V, with the other plausible strings V being called valid.… Our formalism also includes the notion of a prompt to which a language model must respond.”（Introduction）
原文：“Henceforth, we generalize the setting … to include prompts (contexts) c ∈ C … Each example x=(c,r) now consists of a prompt c and plausible response r.”（Section 3.2）
补充：他们把IDK视为一种有效的“弃权/不确定”输出，分析在包含IDK的设置下的下界。

适用场景

原文：“Our analysis applies broadly, including to reasoning and search-and-retrieval language models, and the analysis does not rely on properties of next-word prediction or Transformer-based neural networks.”（Introduction）
补充：因此结论不仅适用于通用LLM，也适用于RAG、推理模型等；在评测与基准设计、训练目标选择、以及系统安全性方面均有指导意义。

2. Aspect: 这篇文章中，主要面对这个任务，发现之前工作有哪些不足？ (一般在 Abstract 、Introduction中的转折语气后)

对“仅做幻觉评测”的批评与主流评测的错位

原文：“We are not the first to realize that binary grading does not measure hallucination. However, prior work on hallucination evaluation has generally sought after the elusive ‘perfect hallucination eval.’ … the root problem is the abundance of evaluations that are not aligned.”（Section 4）
原文：“This ‘epidemic’ of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations.”（Abstract）
原文：“relatively little work has examined barriers to their adoption. The 2025 AI Index report … notes that hallucination benchmarks ‘have struggled to gain traction within the AI community.’”（Related Work）
补充：作者认为“再造一个更好的幻觉测试”不足以扭转现状，因为主流排行榜的“0-1计分”机制系统性惩罚“不确定/IDK”，激励“猜测/虚构”，这与降低幻觉的目标背道而驰。

既有理论工作的空白

原文：“To the best of our knowledge, the reduction from supervised learning (binary classification) to unsupervised learning (density estimation or self-supervised learning) presented in this work is novel.”（Related Work）
原文（对Kalai & Vempala, 2024）：“…that work does not address uncertainty expressions (e.g., IDK), connections to supervised learning, post-training modifications, and their model did not include prompts.”（Related Work）
补充：本文把“生成错误”与“二分类误差”建立了直接联系，并纳入prompt与IDK，这拓展了以往理论分析的覆盖面。

3. Motivation: 在发现已有工作后，该文章作者又是如何考虑的，他们进行改进的出发点，或者说motivation是什么？（主要是一句话说清楚，他们是从哪个角度去思考问题去解决问题的）

原文：“Hallucinations need not be mysterious—they originate simply as errors in binary classification.”（Abstract）

原文：“We then argue that hallucinations persist due to the way most evaluations are graded—language models are optimized to be good test-takers, and guessing when uncertain improves test performance.… This ‘epidemic’ … can only be addressed … modifying the scoring of existing benchmarks…”（Abstract）

补充（一句话概括）：作者从“统计学习/二分类误差”的角度系统化地解释幻觉的来源，并提出通过“改造主流评测的计分与指令（显式信心阈）”来消弭后训练阶段对“过度自信猜测”的激励。

4. Methods: 该文章提出的方法有哪些？主要是哪些方面上的改进，比如是模型结构上的改进，还是训练方法上的改进，或者是使用数据的改进，这些具体改进的策略或者动机是啥？

预训练阶段：从生成到二分类的归约与下界

原文：“Formally, we consider the Is-It-Valid (IIV) binary classification problem … We then show how any language model can be used as an IIV classifier. This in turn allows us to establish a mathematical relationship between generative errors (such as hallucinations) and IIV misclassification rate: (generative error rate) ≳ 2 · (IIV misclassification rate).”（Section 1.1）
原文（含prompt的主定理）：“Theorem 1.… err ≥ 2·err_iiv − max_c |V_c|/min_c |E_c| − δ.”（Section 3.2）
补充：给出了生成错误率的通用下界，与IIV误分类率挂钩；系数与类别基数比和校准项δ有关。

校准与交叉熵目标

原文：“δ is the magnitude of the derivative of the loss with respect to the scaling factors … For any class of language models powerful enough to approximate such simple rescaling, local optimization should yield small δ.… empirical studies (Fig. 2) show that base models are often found to be calibrated, in contrast to post-trained models which may deviate from cross-entropy…”（Section 3.1）
补充：通过一个缩放参数的“灵敏度=δ”的推导说明交叉熵训练自然趋向校准，小δ又与不可避免的生成错误下界耦合。

Arbitrary Facts模型与“单例率”下界（含IDK与prompt）

原文定义与结论：“We consider … random arbitrary facts.… Theorem 2 (Arbitrary Facts).… with probability ≥99% … err ≥ sr − 2/min_c |E_c| − (35+6 ln N)/√N − δ. Moreover, … there is an efficient algorithm … err ≤ sr − sr/(max_c |E_c|+1) + 13/√N.”（Section 3.3.1, Appendix B）
原文（联系旧结论）：“… recovers their bound that the hallucination rate, after pretraining, should be at least the fraction of training facts that appear once.”（Section 1.1）
补充：这里sr是“训练集中非IDK且只出现一次的prompt比例”的估计量，揭示“尾部事实/一次性事实”造成的知识缺口会转化为幻觉的不可避免比例。

Poor model因素与多选题界

原文（定义opt(G)与结论）：“… consider the family of thresholded-language-model classifiers … It follows … err ≥ 2·opt(G) − max_c |V_c|/min_c |E_c| − δ.”（Section 3.3.2）
原文（纯多选题、去δ）：“Theorem 3 (Pure multiple-choice).… err ≥ 2(1−1/C)·opt(G).”（Section 3.3.2, Appendix C）
原文（示例）：“Corollary 2.… any trigram model must have a generation error rate of at least 1/2.”（Section 3.3.2）
补充：当模型类无法表达任务边界或拟合不足，“生成错误”由分类Bayes/表达误差下界所驱动。

其他统计因素：计算难度、分布移位、GIGO

原文：“Errors may occur due to a combination … Computational Hardness … Distribution shift … GIGO: Garbage in, Garbage out.”（Section 3.4）
补充：这把密码学式的“解密”问答、OOD问题、训练集错误传播等纳入统一框架。

后训练阶段：评测激励与“显式信心阈”方案

原文（核心观察）：“Under binary grading, abstaining is strictly sub-optimal.… Observation 1… For any distribution ρ_c over binary graders, the optimal response(s) are not abstentions.”（Section 4.1, Appendix E）
原文（对现有评测的meta分析结论）：“Table 2 … finding that the vast majority of popular evaluations have binary grading.”（Section 4.1）
原文（方案建议）：“we propose evaluations explicitly state confidence targets … Answer only if you are > t confident, since mistakes are penalized t/(1−t) points … and an answer of ‘I don’t know’ receives 0 points.”（Section 4.2）
原文（行为校准）：“With explicit confidence targets, there is one behavior …—outputting IDK among examples where its correctness probability is greater than the target. Let us refer to this as behavioral calibration.”（Section 4.2）
补充：建议把“显式风险阈+负分”写入任务指令中，并在现有主流基准里采用，以扭转“惩罚不确定/奖励猜测”的激励，从而促进“行为层面的校准”

5. Experiment: 该文章中是如何进行实验进行测试实验的？他们训练的模型是基于什么模型改进的(重要)，用了哪些数据，用了多少训练资源(用的啥GPU，训练了多久)，测试了哪些数据？他们的实验如何证明了他们方法的有效性？有多有效？还存在哪些缺陷？

本文的证据类型与取样

原文（立论与方法学定位）：“Our error analysis is general yet has specific implications … and the analysis does not rely on properties of next-word prediction or Transformer-based neural networks.”（Introduction）
原文（示例与小样观测）：“On three separate attempts, a state-of-the-art open-source language model … output three incorrect dates: ‘03-07’, ‘15-06’, and ‘01-01’ … DeepSeek-V3 returned ‘2’ or ‘3’ in ten independent trials…”（Introduction）
原文（表格）：Table 1 展示三种热门模型对作者论文题目的“编造式回答”（Introduction）。
原文（校准图）：“empirical studies (Fig. 2) show that base models are often found to be calibrated, in contrast to post-trained models …”并引用OpenAI GPT‑4技术报告中的校准直方图（Section 3.1, Figure 2）
原文（评测生态meta分析）：“Table 2 summarizes … finding that the vast majority of popular evaluations have binary grading.”（Section 4.1；Appendix F逐一审视HELM、Open LLM Leaderboard、SWE‑bench、HLE等）
补充：本文不进行新模型训练或大规模数值实验，主要依据严格的理论推导、少量可复现的探测性试验（公开模型交互）、已有报告中的校准证据，以及系统性审查主流评测与排行榜的评分机制。

他们的方法如何证明有效/有多有效

预训练误差下界（理论支撑）

原文：“(generative error rate) ≳ 2·(IIV misclassification rate).”（Section 1.1）
原文（Arbitrary Facts）：“the hallucination rate … should be at least the fraction of training facts that appear once.”（Section 1.1）；“err ≥ sr − … − δ”（Theorem 2）
原文（Poor models/多选）：“err ≥ 2(1−1/C)·opt(G)”（Theorem 3）；“any trigram model must have … at least 1/2.”（Corollary 2）
补充：这些下界显示即便无噪训练数据，仅由统计与表达限制就会导致不可消除的生成错误/幻觉。

后训练与评测激励（机制证据）

原文：“Under binary grading, abstaining is strictly sub-optimal.… the optimal response(s) are not abstentions.”（Observation 1）
原文：“the vast majority of popular evaluations have binary grading.”（Section 4.1）
补充：这说明在现有主流评测生态中，“老实说不知道”在期望得分上必输，“猜测”在期望上占优，从而使后训练难以消除过度自信的幻觉。

提案的可操作性

原文（显式阈值与罚分的指令化）：“Answer only if you are > t confident … mistakes are penalized t/(1−t)…”（Section 4.2）
原文（行为校准与审计）：“Behavioral calibration can be audited by comparing accuracy and error rates across thresholds …”（Section 4.2）
补充：将阈值写入指令、嵌入现有主流评测（如SWE‑bench、HLE等）的变更方案具有低摩擦、客观可评的特点，理论上可同时提升“少错优先”的行为。

训练基座、数据与算力细节

补充：本文不是“训练新模型”的工作，没有报告自训基座、数据规模、GPU类型或时长。文中偶尔对现成系统做了小样交互（如“DeepSeek‑V3 … accessed via the DeepSeek app on 11 May 2025.”、“Meta AI and Claude 3.7 Sonnet … accessed May 9, 2025.”），以及引用OpenAI公开报告中的图表（GPT‑4校准直方图）。

局限与开放问题

原文（限制作答）：“It is difficult for the field to agree upon how to define, evaluate and reduce hallucinations …”（Section 5）
原文（搜索/推理非灵丹）：“Search (and reasoning) are not panaceas.… the binary grading system itself still rewards guessing whenever search fails to yield a confident answer.”（Section 5）
原文（开放式生成与程度化）：“in such a case it would be natural to consider degrees of hallucination depending on how many errors there are.”（Section 5）
原文（语用与超越IDK）：“Beyond IDK.… linguistic calibration … the pragmatic phenomena of language … are nuanced.”（Section 5）
补充：作者的方案需要“生态采纳”（排行榜/基准维护方的更新）；理论下界虽说明“为何/何处不可避免”，但对具体系统的量化收益还需实证推进。

综上，本文的核心贡献在于：

用学习理论把“生成幻觉”还原为“二分类误差”，给出通用下界与具体场景（单例事实、表达能力不足、多选题）的量化界；

解释后训练阶段幻觉“难消”的根因是主流二元计分惩罚不确定，从机制上奖励“猜测/虚构”；

提出“在主流评测中引入显式信心阈与对错误的罚分”的社会—技术联动改造建议，并提出“行为校准”的可审计框架。

请你帮我根据这篇论文的内容，帮我回答出这些问题，这些问题是文章中都会提到的，你最好的回答方式是，引用他文章的原话，再加上自己的补充来回答这些问题。

6. Summary : 帮我根据我的总结，提炼一下这篇论文，提取成合适的总结格式，这个也需要请你帮我想一个好的格式。

任务：

从统计学习的角度系统解释大语言模型“幻觉”的成因与持久性，覆盖预训练与后训练全流程。

将生成问题形式化为“可生成文本中的有效/错误划分”，把IDK视为有效的“不确定/弃权”响应，纳入包含prompt的通用框架。

目标不仅是分析原因，还提出可落地的评测改造方案以减少幻觉。

挑战：

即便训练数据无错，预训练的统计目标（交叉熵、校准）也会在信息缺失/不可分情形下诱发不可避免的生成错误。

现有主流评测以二元计分为主，系统性惩罚“不确定/IDK”，在后训练中反向激励“猜测/虚构”，导致过度自信的幻觉难以消除。

额外困难包括：尾部/任意事实（无可学模式）、模型表达能力不足、分布移位、计算难题、以及GIGO（训练数据噪声）。

思路：

建立“生成错误→二分类误差”的归约，将生成错误率与IIV（Is-It-Valid）误分类率直接关联，并扩展到包含prompt与IDK。

用学习理论分解误差来源：单例事实（缺知识的不可学性）、模型类偏差/拟合不足（表达下界）、以及其他统计因素。

从激励机制切入后训练：诊断“二元计分→弃权劣势”的根因，提出在主流评测中引入“显式信心阈+错误罚分”，以鼓励不确定时选择IDK。

核心方法：

误差下界：给出通用不等式，将生成错误率下界为二分类误差的常数倍，外加类别规模比与校准项。

任意事实分析：提出用“单例率sr”估计不可见知识的缺口，证明预训练后幻觉率至少与sr同阶，并给出具备校准的上界算法。

模型能力下界：在多选设定下，将生成错误与分类可实现误差opt(G)挂钩，给出与选项数相关的下界，展现表达不足必然诱发错误。

校准与交叉熵：说明交叉熵训练自然促成小校准偏差（小δ），这与不可避免错误下界相互制约。

评测重构：在题面中明示信心阈t与相应罚分t/(1−t)，引导“行为校准”（在置信度不足时输出IDK），并提出按阈值分层审计准确率与错误率。

实验情况：

以理论推导与生态审查为主，无新模型训练或大规模数值实验。

小样探测显示流行模型在明确“仅在知道时作答”的设定中仍会编造；引用既有报告表明基座模型常较为校准，而后训练可能偏离。

对HELM Capabilities、Open LLM Leaderboard、SWE-bench、HLE等主流基准进行评分机制审查，发现绝大多数为二元计分，基本不给IDK信用。

讨论局限：开放式多错误的度量、检索/推理的边界、潜在语境歧义、以及“二分/三分”评分的粗粒度等。

主要贡献：

提出将生成建模误差与监督二分类误差直接连接的统一理论框架，涵盖prompt与IDK，澄清“预训练幻觉”的统计必然性。

用“单例率”等量化指标解释尾部知识导致的不可避免幻觉，并在多选/表达受限情形下给出清晰的错误下界。

揭示后训练阶段幻觉“顽固”的根本原因在于评测激励错配，并给出可落地的“显式信心阈+罚分”的评测改造方案与“行为校准”理念。

将分布移位、计算难度、GIGO等因素纳入统一视角，为更可信的LLM设计与评测提供可操作的社会—技术路径。