什么是大模型幻觉（Hallucinations of large models） – AI百科知识

大模型幻觉，说的是大型语言模型生成出来的内容跟现实事实或者用户指令对不上的现象。它分两类：事实性幻觉和忠实性幻觉——前者是内容和可验证的事实不符，后者是内容跑偏了用户的指令或上下文。数据缺陷、训练不到位、模型架构本身的问题，都可能催生幻觉，让模型输出不准确、不可靠的信息。

什么是大模型幻觉

大模型幻觉（Hallucinations of large models）指模型生成的内容跟现实世界事实或用户输入不一致的现象。

大模型幻觉的工作原理

大语言模型的幻觉，根源在于数据压缩和不一致性。训练时模型要处理、压缩海量数据，压缩就意味着信息丢失，模型生成回复时就可能自己“补空白”，补出来的东西跟现实事实对不上。预训练数据的质量同样拖后腿：数据集里可能有过时、不准确或者缺关键信息的内容，模型学到的就是错的。还有个训练-推理的错位——训练阶段用的是真实的标记，推理阶段却靠模型自己生成的标记往下预测，这种不一致也会诱发幻觉。

大模型预测下一个标记时只看前一个标记，且只从左往右走，这种单向建模让它难以捕捉复杂的上下文依赖，幻觉风险随之上升。输出层的 Softmax 操作限制了概率分布的表达能力，模型想输出的分布被摁住了，也导致幻觉。推理时引入随机性的技术，比如 temperature、top k、top b，同样可能引发幻觉。处理长文本时，模型更关注局部信息，对全局顾得少，容易忘了指令或者不遵循指令，幻觉就这么来了。另外，模型对自己输出内容的意义其实是不确定的，这个不确定性可以用预测熵来衡量：熵越高，说明模型对可能的输出越没底。这些因素叠在一起，就出现了大模型那种“说得像那么回事、实际违背常识”的幻觉内容。

大模型幻觉的主要应用

• 文本摘要生成：做大模型摘要时，结果可能和原文不一致——把事件发生的时间或参与人物搞错，摘要信息就失真了。
• 对话生成：对话系统里，幻觉会让模型给出和对话历史或外部事实矛盾的回复，凭空引入不存在的人物或事件，或者答错问题。
• 机器翻译：翻译任务中，模型可能产出和原文不符的译文——加进原文没有的信息，或者把重要内容漏掉。
• 数据到文本生成：把数据转成文本时，生成的内容可能和输入数据对不上，要么掺了数据里没有的信息，要么没准确反映数据里的关键事实。
• 开放式语言生成：开放式生成任务里，模型产出的内容可能和现实世界的知识不相符。

大模型幻觉面临的挑战

• 数据质量问题：模型生成的文本可能夹带不准确或虚假的信息，比如摘要和原文对不上；放到对话系统里，就可能给出错误的建议或回答。
• 训练过程中的挑战：模型生成文本时容易过度依赖某些模式，比如位置接近性、共现统计，输出就跟实际事实有偏差。碰上需要复杂推理的任务，它可能给不出准确答案。
• 推理过程中的随机性：随机性会让输出偏离原始上下文，比如机器翻译出现和原文不符的译文；长文本生成时，还容易前后信息不一致。
• 法律和伦理风险：一旦用在司法审判、医疗诊断这类高风险场景，幻觉可能造成严重后果。而用户往往对模型输出缺乏警惕，错误信息就这么被信以为真了。
• 评估和缓解幻觉的挑战：评估方法跟不上，就可能误判模型性能，优化和改进也就没了方向；缓解策略不够用，模型在实际应用里照样产生幻觉，体验和可信度都受影响。
• 应用广泛性受限：幻觉问题把模型在很多领域的应用卡住了，尤其是对准确性要求高的地方。加上领域专业化的影响，模型一碰到跨领域任务就容易产生更多幻觉，能铺开的场景进一步受限。
• 系统性能问题：性能不稳，用户信心就散了，市场竞争力跟着下滑。可信性一降，模型在金融分析、政策制定这类关键任务里的应用也就受限了。

大模型幻觉的发展前景

深度学习技术一直在往前走，Transformer 这类预训练模型也在持续优化，大语言模型在理解力和创造力上展现出了很强的潜力。幻觉问题的研究早就不限于自然语言处理，图像说明、视觉叙事等多模态领域也都涉及进来，场景相当开阔。研究者在找更有效的评估和缓解手段，让模型更可信、更可靠。随着大模型走进医疗、司法这些高风险领域，幻觉带来的法律和伦理风险越来越被重视，相关法规和伦理准则的建立也会被推着走。解决幻觉不是单个领域的事，自然语言处理、知识图谱、机器学习得坐在一起想办法，跨学科的研究和方案未来会越来越多。这需要整个行业一起出力——数据提供者、模型开发者、应用开发者都算上，人工智能技术才能健康发展。