大模型幻觉的定义
大模型幻觉指模型生成与事实不符、逻辑错误或脱离上下文的内容，表现为虚构信息、错误推理或矛盾输出。这种现象在生成式AI中尤为常见。
训练数据偏差
大模型依赖海量数据训练，若数据包含错误、偏见或不完整信息，模型可能学习到错误关联。例如，数据中某些领域信息不足时，模型会基于有限模式“脑补”答案。
概率驱动的生成机制
模型通过概率预测下一个词，倾向于选择高概率组合而非事实正确性。当上下文模糊时，模型可能生成看似合理但实际错误的序列。数学上，生成概率可表示为：
P(wt∣w1:t−1)=softmax(fθ(w1:t−1))P(w_t|w_{1:t-1}) = ext{softmax}(f_ heta(w_{1:t-1}))P(wt∣w1:t−1)=softmax(fθ(w1:t−1))
其中fθf_ hetafθ为模型参数，优化目标是概率似然而非事实验证。
缺乏实时知识更新
静态训练的模型无法获取训练截止后的新知识。当被问及时效性问题时，可能基于过时模式生成答案，导致事实性幻觉。
过度优化与泛化
模型为提升流畅性和连贯性，可能过度拟合训练数据的表面模式。例如，学习到“权威句式”后，即使内容错误也会以高置信度输出。
人类反馈的局限性
基于人类偏好调整的模型（如RLHF）可能强化“讨好式”回答。当用户提问模糊时，模型倾向于生成符合预期但未必准确的回应。
缓解方法示例
- 检索增强生成（RAG）：结合外部知识库实时验证生成内容。
- 不确定性校准：让模型标注答案置信度，如输出“我可能不准确”。
- 多轮验证机制：通过多次生成交叉验证一致性。
幻觉现象本质是当前模型缺乏对世界的真实理解，仅依赖统计模式的结果。技术进步正通过混合符号推理、知识图谱等方法逐步改善这一问题。