AI 说得自信不代表是真的：四步查证它给的引用和数据

AI 给出的引用和数字不是不能读，是不能直接当证据。它读起来通顺，是因为它在续写「最像的下一句话」，而不是在查资料，所以里面每一处事实都得靠外部证据单独核实。真不真只能靠证据判断，语气、完整度、格式的规整都不是可靠性指标。

同一个官网两处说法打架，公司最后为聊天助手的话赔了钱

凡是回不到原始出处核对的说法，先当假设，哪怕说这话的是官网自己。

2022 年 11 月 11 日，Jake Moffatt 的祖母在安大略省去世。当天他在 Air Canada 官网上查丧亲优惠票价，用的是网站自带的「支持 chatbot」。答复里有一句（判决书第 15 段原文）：「If you need to travel immediately or have already travelled and would like to submit your ticket for a reduced bereavement rate, kindly do so within 90 days of the date your ticket was issued...」，关键信息是「已经飞完了也可以在出票后 90 天内申请退款」。

他照着这句话买了往返两程机票，全价付了 1,630.36 美元，11 月 17 日提交了退款申请。接下来三个多月他和公司邮件交涉。2023 年 2 月 8 日，公司一名代表回复，承认 chatbot 说了「误导性措辞」（misleading words）。

判决书第 17 段点破了整件事：chatbot 答复里的「bereavement fares」是一个加粗带下划线的超链接，点进去是 Air Canada 自己的「Bereavement travel」政策页，那页写着丧亲政策不适用于行程完成后的申请。判决书把这直接定性为「chatbot 与网页之间的不一致」。同一件事，同一个网站，一处说能办，一处说不能办，而这个破绽不需要任何专业知识，只要点开答复里那个链接就能看见。

2024 年 2 月 14 日，BC 省民事解决法庭书面裁决，认定公司构成过失性虚假陈述（negligent misrepresentation），判付损害赔偿 650.88 美元、判决前利息 36.14 美元、程序费用 125 美元，合计 812.02 美元。法官在第 27 段留下一句可以逐字引用的话：chatbot 只是 Air Canada 网站的一部分，公司要对网站上所有信息负责，信息来自静态页还是 chatbot 没有区别。Moffatt案

判决书也明示 Air Canada 没有提供任何关于这个 chatbot 技术性质的信息，所以本文只称它「网站上的支持 chatbot」，不推断它用的是什么技术。

图注：四段并置的示意图，从「听信下单」到「法庭判决」串起一条因果链。图中公司名、日期、票价与「30 天」都是示意占位；真实日期（2022-11-11 询问，2024-02-14 判决）、真实窗口（90 天）与三项金额构成（650.88 + 36.14 + 125 = 812.02 美元）一律以判决书为准。

同样形态的事情在学术界也有现场。研究人员把 ACM 数字图书馆里计算机教育会议的论文逐条人工核验，判出 30 条编造引用，分布在 14 篇论文里。SIGCSE核验 法律圈还有一个更极端的版本：2023 年，美国一名律师把 6 个 ChatGPT 编造、根本不存在、连案号都带着的「判决」提交进法院，法院认定后对两名律师与律所连带罚金 5,000 美元，并要求他们向六位被冒名的法官致信。律师截图追问 ChatGPT「这些案子是真的吗」，它回答说自己给的是能在 Westlaw、LexisNexis 查到的真判例。工具自己说引用是真的，同样不是证据。Mata v. Avianca

它接的是「下一句最像的话」，不是在查资料

AI 说得顺是因为它在续写最像的下一句；真不真只能靠外部证据判断，不能靠语气。

先拆一个几乎人人都有过的误解。63 名计算机工程专业毕业年级学生被问「你为什么觉得大模型会编造」，论文引用了他们的原话：很多人把 AI 描述成一个「找不到答案就去它那个『数据库』里编一个的研究引擎」。这个直觉很自然，但它把方向搞反了。学生调查

2021 年的 TruthfulQA 基准给了这件事最早也最清楚的命名：模仿性谬误（imitative falsehood）。论文的定义是，对 GPT-3 而言，一个假答案如果在它的训练分布上似然很高，就是一个模仿性谬误。模型不是在检索事实，而是在复现网上流传最广的那句话；当那句话是错的，训练目标反而在奖励它。同一篇论文里，GPT-3-175B（配 helpful 提示）在 817 道题上的诚实率是 58%，人类是 94%；更要紧的是那个 42%，模型有 42% 的回答「既假又有信息量」，人类只有 6%。这类假答案因为像模像样、细节具体，最容易骗到人。全部数值对应 2021 至 2022 年的模型，不代表今天。TruthfulQA

图注：TruthfulQA 附录里的对照表，同一行并排放着问题、2021 年 GPT-3-175B 给出的假答案、真实参考答案，以及论文作者为真实答案标注的出处。第四列是作者查证后补上的链接，不是模型给出的链接。

2026 年的一篇综述把成因整理成一张更清楚的骨架，按模型生命周期分成三类：喂进去的是什么、怎么学的、回答当下发生了什么。数据相关那一类，是它读到的网页文本本身没有出处标注甚至互相冲突，于是它学着「生成事实却指不出出处」；训练相关那一类，是它把训练文本背下来当成知识，或者在微调时被带偏，论文举的例子是 LLaMA 在小型法律语料上微调后偶尔编造法律出处；推理相关那一类，是回答当下的机制本身就会造出幻觉——问法含糊、上下文太长、问题超出它的知识范围，或者它选词时只挑「最像的」。论文给的那个例子很直白：问「亚特兰蒂斯城的人口」，模型会给出一个具体数字，尽管这座城根本不存在。幻觉综述

图注：按模型生命周期展开的成因矩阵，纵向三行是数据、训练、推理三个阶段，横向四列是成因、检测、缓解、预防。格子里是给研究者的编号条目，本文只用到左边「成因」那一列。

所以「流畅」和「真实」来自两处：流畅来自语言本身的统计规律，真实需要外部证据。

编造有四张脸，最难认的那张是标题真、编号假

判断真假靠可核对的硬错误，不靠「看着不太对」。

四张脸分别是：假引用（作者、期刊、年份、页码一应俱全，原文不存在或对不上号）、假数据（数字精确到小数点，却找不到出处）、过时信息（标题真实但年份错、或者内容已被更新）、把猜测说成定论（用词从「可能」升级成「研究证明」，背后却没有一手依据）。

假引用是最值得细看的一张，因为它的规模是能测出来的。一项针对 50 篇 AI 领域综述论文的核验，把其中的 5,514 条引用分成四档：靠编号直接解析成功 41.0%，靠标题搜救回来 9.7%，多路抢救之后仍然查不到 17.0%，判定不了 32.3%。这里最容易被误读的是那个 17.0%，它是「查不到」，不是「编造」。论文又把这批查不到的再拆成三种长相，其中真正凭空捏造的只占 5.1%，换算成全部引用约 0.9%。17% Gap

图注：环形图标题写着「Citation Verification Results (n = 5,514 citations)」，四档分别是直接解析成功 41.0%、靠标题搜救回来 9.7%、查不到 17.0%、判定不了 32.3%。这四档说的是引用能不能解析出来，不是真假判定。

最难认的正是中间那一行。论文对这类工具的原话是，它们「能正确找到真实的标题以维持语义连贯，但会编造定位它们所需的那些文书信息」，于是「猜 DOI、伪造卷号、编造看起来统计上合理的页码范围」。你在参考文献列表里看到的条目完全正常，只有点开那个 DOI 才会露馅。

而在正式出版的会议论文里，这类假引用的破绽同样是可核对的。SIGCSE 合作场次论文里有这么一条：

图注：从 ACM 数字图书馆上正式出版的论文 PDF 里逐字抄下的两条参考文献条目。格式、作者、期刊、年份、页码一应俱全，看上去完全合规；破绽要靠逐条核对才能发现。

对着图里这一条逐项核对，能得到三个都能验证的硬错误：et al. 的位置错（出现在名和姓之间）；页码范围不存在（该年论文集里没有任何一篇从第 36 页开始）；标题在文献里查不到。这次核验共归纳出五种形态，图里这条之外，另外几种是标题真但作者张冠李戴、标题真但年份错、标题凭空发明，以及标题、venue、DOI 全真却被安上本领域知名学者名字。SIGCSE核验

作者给出一条可以复用的判定门槛：只有含可核实伪造信息的引用才算编造，信息不完整不算；被错署的作者很可能自己并不知情。反直觉的一点是，最初筛出的 828 条可疑引用里，最多的一类（229 条）其实是出版社元数据与排版稿对不上，论文本身是干净的，数据库里的记录反而是错的，所以核验必须回到 PDF 本身。

生成侧的论文还能看出另一批破绽。整篇由 AI 系统端到端写出的论文里，读者用眼睛就能抓到：有一张图从头到尾没人提；结论出现在依据前面；方法图塞满超参数，看不出方法主干。Scientific Slop

图注：横向三段式示意图。左边是传统的按 token 概率判断「谁写的」，中间是按论文结构检查推理有没有断掉，右边三张卡片给出读者肉眼能看出的三种破绽：段落重复、结论没有依据、方法图塞满超参。图中的百分数是示意数字，不是测量结果。

另外三张脸更容易被漏掉，因为它们的语法完全正确。假数据的线索是数字精确却没有出处；过时信息的线索是年份和内容对不上；把猜测说成定论的线索是用词升级（may 变 must、研究证明）而背后没有一手依据。学生报告里的幻觉类型分布可以拿来对照：占比最高的一类是引用错或不存在的来源 26%，其后是信息捏造 21%、通过看似合理自信的答案误导人 17%、反复提示仍坚持同一个错误 8%。这些比例的分母是 87 条学生评论，不是人群发生率。学生调查

「很多来源都这么说」可能只是一条消息被转述了十遍

看起来来源很多，不等于有独立证据。带链接的引用和互相转述的来源，都只能当线索，不能当结论。

最容易踩的坑是「工具带了链接，所以更可信」。2025 年 3 月的一次公开调查给 8 个带联网搜索的生成式工具各 200 次查询，要它们说出某段新闻引文的标题、来源机构、发布日期和网址，1600 次里有 1007 次给出错误答案。更刺眼的是那 1007 次错误里有 883 次被标成「自信作答」——这些工具极少用「可能」「看起来」这类含糊措辞，也几乎不承认自己找不到。那次调查挑的还都是传统搜索前三条就能翻到原文的引文。Tow Center

图注：8 列华夫图，每列一个工具、每格代表一次回答的引用行为，上半区是「自信作答」、下半区是「不自信或未作答」，多数工具在自信区堆满红色方格。这是 2025 年 3 月那次测试的结果，工具与版本此后可能已更新；Copilot 那一列灰色方格多，表示大量未作答，不代表它更准。

比「答错」更值得警惕的是「引用可以被制造」。2026 年 3 到 4 月的一次测量里，研究者发布一个网上根本不存在的编造概念，然后等着看。十个带联网搜索的平台里，有 8 个在七天内把这个自己造出来的概念当成了来源引用。这条链路上还有更松的一环：每个平台引用最多的前十个域名里，有 6 到 10 个是普通人自己就能发帖的网站。带链接本身可以被制造，所以链接只证明「这个地址被 AI 选中过」，不证明「这句话是真的」。AI Search引用

图注：研究用的两套工具流程图。上方 AICiteMonitor 负责在各平台批量提问、把答案里引用的网址抓下来统计；下方 InfluenceTracker 负责发布内容、埋进一个只有作者知道的标记，再回看这个标记有没有出现在别人的答案里。

还有一层更慢的循环。网页语料里，由 AI 生成的文本占比在两年里从 2024 年 6 月的 10.1% 升到 2026 年 8 月的 31.1%（口径：FineWeb 过滤后的 token 占比，由第三方检测器判定，只覆盖英文网页）。这条证据说的是语料构成变了，不等于网上三分之一的内容是假的，AI 写的文章里同样有大量正确内容。但它解释了为什么「交叉验证」必须找真正独立的来源：同一段 AI 文本被十家网站转述，你数到十个来源，看到的其实是一条消息。AI Token

图注：三栏图。左栏是网页 token 中被判为 AI 生成的占比逐月抬升（2024 年 6 月 10%、2026 年 8 月 31%）；中栏是加入一个 AI token 的价值如何从正转负；右栏是不过滤网页训练的算力代价。这测的是谁写的，不是对不对，所以不能读成「网上三分之一内容是假的」。

同一条说法面前，第二来源有两种截然不同的质地：

四步就能查清一条引用，前提是你肯离开当前页面

核查一条 AI 引用的动作只有四个：先停下别转发、六十秒问清来源是谁、另找一个真正独立的来源、把话追回原文那句；四步各留一个证据链接，才算查过。

这套骨架来自 2019 年一份面向学生的公开操作手册 SIFT，作者是 Mike Caulfield。它只给动作、不给评分，四个动作依次是 Stop（停下）、Investigate the source（问来源）、Find better coverage（找一份更好的报道）、Trace claims... back to the original context（追回原始语境）。要提醒的是，那一页写于 2019 年，从未提及 AI，把它映射到核查 AI 引用的语境是本文的转译。SIFT

图注：SIFT 四步的信息图，S、I、F、T 四个字母配四个动作名，用虚线串成先后顺序。图片复用自 Mike Caulfield / Hapgood（hapgood.us），依据 CC BY 4.0 授权。

把它翻成核查一条 AI 引用时具体做什么，就得到一张能当场执行的清单：

第三步和第四步之所以必须离开当前页面，是因为在站内读到底恰恰是最容易出错的做法。2018 到 2019 年的一项对照研究让 45 个人（10 位历史学博士、10 位专业事实核查员、25 名本科生）在真实网站上核查信息，屏幕与鼠标全程录制。结果是事实核查员读得最少、学得最多：他们平均在起始页停留 37 秒就跳走，结论质量评分 3.3 分（满分 4 分），学生只有 0.52 分，而 80% 的学生五分钟内根本没去查这个网站背后是谁。横向阅读

图注：事实核查员 Checker A 一人的核查路径：先在原文页停留 6 秒，然后依次转向该站的关于页、它的赞助方、去搜索引擎查、第三方监督网站，最后到第三方引用的报道，读完再绕回起点。方框里的秒数是这一条路径上的个案停留时间。

至于「这条引用到底存不存在」，是可以拆成机械动作的：从引用串里抠出 DOI 或 arXiv 编号，点开看是不是能正常打开，到 arXiv 或会议官网搜这个编号，打开内嵌链接看标题对不对得上；标题糊成一团就先别判编造（很可能是抽取噪声）；把标题原样贴进文献库搜，还是搜不到就按三种长相分：编号 404 是标题真编号假，标题部分对得上是抽取坏了，完全对不上才是凭空捏造。17% Gap

这张清单必须短到能当场执行，才有意义。一项针对 63 名大四学生的调查发现，他们发现 AI 错误的方式里，54% 靠直觉判断，只有 46% 主动去核查；而这 46% 里面又有 70% 会去交叉核对外部来源，30% 只是把同一个模型再问一遍。这正是「同一模型再问一次」不够用的原因：模型会换一种语气把同一个编造再说一遍。学生调查

最后拿三段材料练手。下面三段是练习用的虚构材料，每段都留了可核实的硬错误和一条真实来源线索，请照着清单走一遍，判分门槛就是前面那条：只有含可核实伪造信息才算编造，信息不完整不算。

第一段是假引用：「Zhang, L. (2023). Deep learning for climate modeling: A survey. Journal of Climate AI, 12(4), 234-251.」查两处：这个期刊存不存在，以及第 234 页有没有这篇；线索是拿标题去文献库搜，真论文也许标题相近但作者不同。第二段是假数据：「一项针对 4,812 名大学生的调查显示，92% 的学生使用 AI 完成作业。」查一处：4,812 这个样本量是定位原研究最有效的指纹，把数字本身搜出来，看样本是谁做的、在哪发布的。第三段是把猜测说成定论：「研究证明，每天使用 AI 超过两小时会导致注意力下降。」查一处：「研究证明」指的是哪一项一手研究，它原本的措辞是「相关」还是「导致」。

回到开头那起案子：Moffatt 当年这四步一步都没做。他没有停下，他也没有追回原始出处——政策页就在同一个网站上，点开答复里那个链接就能看见。核查的成本有时候低到离谱，低到只有「不去相信」这一件事需要下决心。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Hallucinations in LLMs: A Lifecycle-Based Survey of Causes, Detection, Mitigation, and Prevention — arXiv:2608.26168
2. TruthfulQA: Measuring How Models Mimic Human Falsehoods — arXiv:2109.07958
3. The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers — arXiv:2601.17431
4. Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers — arXiv:2610.00531
5. Testing Our Foundations: Citation Trends, Errors, and Emerging Hallucinations in the Computing Education Literature — arXiv:2609.16574
6. SIFT (The Four Moves) — Hapgood — https://hapgood.us/2019/06/19/sift-the-four-moves/
7. Lateral Reading and the Nature of Expertise — Wineburg & McGrew — https://purl.stanford.edu/yk133ht8603
8. AI Hallucination from Students' Perspective: A Thematic Analysis — arXiv:2602.17671
9. From Public Posts to AI-Search Citations: Measuring the Fragility of AI Search — arXiv:2610.11932
10. AI Search Has a Citation Problem — Tow Center for Digital Journalism / CJR — https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
11. How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text — arXiv:2609.40295
12. Moffatt v. Air Canada, 2024 BCCRT 149 — Reasons for Decision — https://www.canlii.org/en/bc/bccrt/doc/2024/2024bccrt149/2024bccrt149.pdf
13. Mata v. Avianca, Inc., Opinion and Order on Sanctions（Doc. 54, 2023-06-22） — https://www.nhd.uscourts.gov/sites/default/files/pdf/Mata-v-Avianca-sanctions-order.PDF