揭秘谷歌SLED：AI幻觉终结者，让大模型记起真相

type

status

date

slug

summary

引言

在人工智能（AI）飞速发展的今天，大语言模型（LLM）已经渗透到我们工作和生活的方方面面。然而，一个顽固的“原罪”始终困扰着所有用户和开发者——AI幻觉。这些模型时常会以惊人的自信，编造出完全错误的信息，这种“一本正经地胡说八道”极大地限制了它们在严肃场景下的应用。传统解决方案如检索增强生成（RAG）或持续微调，不仅成本高昂，且治标不治本。

最近，一篇由华人团队主导、在顶级会议NeurIPS 2024上发表的谷歌研究，提出了一种名为SLED（Self Logits Evolution Decoding）的颠覆性方法。它揭示了一个惊人事实：大模型并非不知道正确答案，它只是在输出的最后一步“忘记了”。SLED通过一种巧妙的内部机制，让模型学会“自救”，从幻觉的边缘回归事实。这不仅是一项技术突破，更可能改变我们未来构建和使用AI的范式。

AI幻觉的顽疾：我们真的理解错了吗？

当我们问一个大模型“不列颠哥伦比亚的首府是哪座城市？”，得到“温哥华”这个错误答案时，我们通常会认为模型“不知道”正确答案“维多利亚”。这种现象被称为AI幻觉，它源于模型在庞大的训练数据中学习到的统计规律——“温哥华”与“不列颠哥伦比亚”的共现频率远高于“维多利亚”。

为了解决这一系统性挑战，业界主流方案通常分为两类：

外部知识注入：以RAG为代表，通过连接外部数据库或搜索引擎，为模型提供实时、准确的信息作为参考。但这引入了新的复杂性，如检索延迟、信息不准确以及系统维护成本。

模型再训练：通过监督微调（SFT）等方法，用高质量、事实准确的数据对模型进行额外训练，纠正其错误认知。这种方法需要大量标注数据和计算资源，成本极高。

然而，SLED的研究者们提出了一个全新的视角：问题或许不出在知识的“缺失”，而出在知识的“提取”上。他们发现，在模型的深层网络中，早期的计算层级其实已经捕捉到了指向正确答案“维多利亚”的信号，但这些宝贵的信号在信息逐层传递的过程中被“噪声”淹没，最终在最后一层被更具统计优势的“温哥华”所取代。

这意味着，我们一直在用复杂昂贵的外部手段去弥补一个或许可以通过内部机制解决的问题。

SLED解码新范式：倾听模型内部的“多重声音”

传统的大模型在生成每一个词时，都只依赖其最后一层的输出（logits）来做决策。这就像一个委员会，最终只听取了发言人的意见，而忽略了会议室里其他所有成员的讨论。SLED的核心思想，就是让这个决策过程变得更加民主，倾听并融合来自模型内部多个层级的声音。

SLED的工作流程可以理解为一种内部知识的自我修正：

挖掘潜在知识：SLED不仅关注最后一层的预测，还会提取模型中间层的预测结果。这些早期层级的预测往往更原始，更少受到统计偏差的污染。

对比与修正：通过对比早期层与最终层的预测差异，SLED能够识别出最终输出可能存在的“偏见”。例如，当最后一层强烈倾向于一个常见但错误的答案时，中间层微弱但正确的信号就会成为关键的修正依据。

加权融合决策：SLED将所有被采纳层级的预测进行加权融合，形成一个更全面、更可靠的最终决策。这样，即使最后一层被“带偏”，来自其他层的“理性声音”也能将结果拉回到正确的轨道上。

让我们看一个简单的算术题例子：一个普通模型在计算“Eliza时薪10美元，工作45小时，超过40小时部分按1.2倍计薪”时，很容易直接给出 45 * 10 = 450 的错误答案。但SLED在解码过程中，会从模型的中间层捕捉到与“1.2倍”相关的信号，从而将最终输出修正为正确的 (40 * 10) + (5 * 10 * 1.2) = 460 美元。

这个过程完全在模型内部完成，无需任何外部数据检索，也无需重新训练模型，仅仅是一种更聪明的解码策略。

实践出真知：SLED的惊人实测表现

理论上的优雅必须经过实践的检验。谷歌团队在Gemma、Qwen、Mixtral等多个主流开源大模型上对SLED进行了全面测试，结果令人印象深刻。

性能显著提升：在所有测试模型和数据集上，SLED都表现出稳定且显著的性能提升。例如，在Gemma-3 1B模型上，SLED将FACTOR数据集的准确率从47.83%直接飙升至63.29%。在更大规模的Gemma-3 27B模型上，其准确率也比当时最优的DoLa方法高出整整10个百分点。

普适性极强：无论模型家族、参数大小或训练方式如何，SLED都能带来正面效果。这证明了它并非某种特定模型的“特调补丁”，而是一种具有广泛适用性的基础性改进。

开销微乎其微：最关键的是，这种准确性的提升带来的额外计算开销极小。实验数据显示，SLED仅增加了约4%的推理延迟，在实际使用中几乎无法察觉。用微小的成本换来高达16%的准确率提升，这是一笔极具价值的交易。

这些数据雄辩地证明，SLED不仅是一个创新的研究思路，更是一个可以立即落地、有效改善用户体验的实用技术。

超越技术本身：SLED对未来AI发展的启示

SLED的价值远不止于提升几个百分点的准确率，它为我们思考AGI（通用人工智能）的发展路径提供了深刻启示。它告诉我们，与其无止境地追求更大参数、更多数据的“暴力美学”，不如回过头来，更深入地挖掘和利用模型内部已经存在的潜在知识。

在Google AI Overviews等功能已将AI生成内容置于搜索结果顶端的今天，信息的可靠性变得前所未有的重要。如果AI频繁出错，用户信任的崩塌将是毁灭性的。SLED这类致力于提升AI内在可靠性的技术，正是为生成式AI守住生命线的关键。

展望未来，SLED的可能性是无限的：

与RAG协同：SLED的内部自修正机制可以与RAG的外部知识注入相结合，形成更强大的“内外兼修”组合拳。

跨领域应用：其核心思想可以扩展到代码生成、长文本写作、甚至多模态任务中，全面提升AI的可靠性。

SLED的出现，标志着AI研究的一个重要转向：从“让模型学得更多”转向“让模型用得更好”。它就像一位记忆唤醒师，帮助AI记起那些差点被遗忘的真相。

想要获取更多前沿的AI资讯和探索强大的大模型工具，欢迎访问AI门户网站 https://aigc.bar，与我们一同见证人工智能的未来。