什么是 AI 幻觉？

指 AI 生成了看似合理、实际错误或凭空捏造的内容，比如不存在的论文、编出来的数据或参数。它源于大模型按概率「预测下一个词」的工作方式——模型擅长把话说得像真的，但并不能可靠地知道自己不知道什么。

幻觉能彻底消除吗？

目前不能。它是概率生成系统的固有属性，不会随某次版本更新消失。但可以用工程手段把风险压到很低：让模型先检索资料再回答、要求标注出处、允许它说「不知道」、关键信息交叉验证，并在业务流程里保留人工确认环节。

按场景分级管理：内部探索、写初稿可以放宽；涉及数字、引用和对外口径的内容必须带来源并交叉验证；流程上设人工复核卡点，AI 出初稿、人做确认。选型上优先支持检索增强、能给出处的方案，把回答限制在资料范围内。

你可能遇到过这样的场景：让 AI 推荐几篇某方向的论文，它列得像模像样，标题、作者、年份俱全，你按图索骥去找，其中一两篇根本不存在；或者让它介绍某个软件的接口参数，它给出的参数名流畅又自信，只是官方文档里从来没有这一项。

这类「编得像真的」的回答，有一个专门的名字：AI 幻觉（Hallucination）。这篇文章用大白话讲清楚三件事：它为什么会发生、什么时候最危险、怎么把风险降下来。

大模型的工作方式是「预测下一个词」，不是「查资料」。 它在训练中读入了海量文本，学到的不是一条条事实，而是语言的统计规律：给定前文，接什么词最像人写的。所以它天然擅长把话说得流畅、像模像样，但它并没有一个内在的「事实开关」——不知道的事情，它也能顺着语言规律一路说下去，而且说得很有说服力。

训练数据本身有局限。 一方面，训练用的互联网文本本来就有对有错，模型会把错的部分也学进去；另一方面，数据有截止时间，训练之后世界上发生的事，模型并不知道，被问到时它可能仍按旧世界的样子作答。

训练还让它倾向于「给一个回答」。 模型上线前会经过一轮调整，让回答尽量符合人的期待——听起来有帮助、有问必答。副作用是：即使它内部并不确定，也更倾向于给出一个听上去很确定的答案，而不是承认「我不知道」。不确定时硬答，就是幻觉最常见的来源。

幻觉不是均匀分布的，以下几类内容最容易出问题：

它们的共同点是：看起来很专业。读者往往因为内容「像内行写的」而放松警惕，错了也不容易当场发现，等发现时可能已经进了报告或者合同。

没有一招根治，但有几件事被反复证明有效：

先查资料再回答。 业内常见做法叫 RAG（Retrieval-Augmented Generation，检索增强生成）：让模型回答前先去指定的资料库里检索，再依据查到的内容作答，而不是凭「记忆」。
要求给出处。 让模型标注每条信息的来源，有出处才可信，没出处的当作待核实。
允许它说「不知道」。 提问时明确说「不确定就直说」，能明显减少硬编出来的答案。
交叉验证。 关键信息用第二个独立来源核对，或者换个问法再问一遍，前后不一致就是危险信号。
保留人工确认。 重要的输出在进入业务流程之前，留一道人工复核。

坂御的 FDE 业务（深入理解企业业务后，用 AI 和软件帮企业降本增效）会把模型能力接进客户的真实流程，我们在交付里对幻觉有一套一般性的做法：

幻觉不是某个模型的 bug，修一版就没了；它是概率系统的固有属性——只要模型在做预测，就会有把「像」当成「是」的时刻。工程上能做的，是把幻觉压进低风险区间：让它有资料时回答，没把握时承认，关键环节由人把关。

管理它，而不是幻想消灭它。这是我们对待幻觉的态度，也是我们建议每一个正在把 AI 用进业务的团队持有的态度。