如我之前的某次分享，我一直感觉 LLMs 们喜欢胡说八道满嘴放炮，平常大家都说这是「LLMs 的幻觉情况」，但我还是恶意的称呼为它们喜欢胡说八道。在《Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?》这篇论文中针对微调大模型后导致产生的所谓「幻觉」进行了研究，总结来说：

「LLMs在学习新知识的过程中，尤其是在微调阶段，引入的新的知识时学习速度较慢，这会导致模型对新知识的理解不充分，进而导致生成的内容偏离事实」——这就是「幻觉」

进一步的说明是：

「新知识的引入虽然可以扩展模型知识，但如果训练样本中包含较多未经验证的知识，模型会变得更加容易产生错误的自信。模型可能会尝试根据其现有的知识生成看似合适的答案（比如更早前的 GPT 3.5 时代很多人试着用它写论文，但是引用文献都是胡编乱造的）」

这就是标题所说的：「LLMs 过度的自信心爆棚」

所以如何「打击 LLMs 的自信心，让它的幻觉减少」是让大家（尤其是我????）保持对 AI 信任的关键点。在 Meta 发表的《The Llama 3 Herd of Models》的论文中，对这部分进行了一些说明。总的来说就是「Llama 3 通过改进数据质量、调整训练策略以及优化模型规模来减少幻觉现象」。

这篇论文提到了在 post-training 阶段，让 LLMs「know what it knows」，用我的话说就是—— ~~spnzzjz~~ 知道自己几斤几两。Meta 开发了「knowledge probing technique」让 Llama 3 进行「自我学习、自我检讨、自己打自己巴掌」，具体的流程是：

从预训练数据中提取一个数据片段。
通过提示 Llama 3，生成一个关于这些数据片段的事实性问题。
从 Llama 3 获取该问题的多个回答样本。
使用原始上下文作为参考，并以 Llama 3作为判断标准，对生成内容的正确性进行评分。
使用 Llama 3作为判断标准，对生成内容的信息性进行评分。
对那些在多个生成中始终信息性强但不正确的回答（也就是胡说八道的回答）进行拒绝采样。

然后再将这些回答转变为数据集（这里就是一个事实明确的数据集）再次对 LLMs 进行微调训练，完成 LLMs 照镜子的工作。

在《Reducing Conversational Agents’ Overconfidence through Linguistic Calibration》这篇论文中还提到了一种「Linguistic Calibration」策略，来针对 LLMs 过度的自信，限于篇幅（借口）简单描述一下：

「对 LLMs 进行 PUA，降低其自信心，让其在拿不准的答案的时候直接回答——我不知道」

这篇论文对 LLMs 胡说八道值的采样观点是：自信度和正确性

而上文 Meta 论文的采样观点是：信息性和正确性

总的来看，Meta 采用的采样观点更为科学一点，我认为 Meta 的采样观点考虑了 LLMs 生成的内容既要符合事实，又要有足够的背景信息支撑，避免了简单的表面正确性判断减少模型生成不完整或不充分信息的概率。另一方面，Linguistic Calibration 策略（PUA LLMs）虽然在某些情况下可能有效，但它的局限性较大。将模型的自信心过度压低，虽然可以减少胡说八道的概率，但也会显著降低模型的灵活性和自由度。特别是在在目前推理式 LLMs 发展的情况下，过度降低自信有可能会导致模型变得过于谨慎，甚至在可以作出合理推测时也回答「IDK」。这种策略虽然降低了错误答案的生成，但也极大地削弱了模型的能力，使其在实际应用中缺乏实用性，可能会让 LLMs 变成一个道歉和 dunno 机器人（……

写太多了，收个尾睡觉：提高 LLMs 能力的道路任重道远，让我早日摆脱「AI 经常胡说八道」这个噩梦的任务就交给群里各位了！