AI资讯：大模型“伪遗忘”真相揭秘，结构不变则记忆犹存

type

status

date

slug

summary

引言：大模型记忆的“橡皮擦”真的有效吗？

近年来，大语言模型（LLM）的飞速发展无疑是人工智能（AI）领域近年来的高光时刻，其强大的能力令人惊叹。然而，伴随其能力增长的，还有数据隐私和安全风险。模型在训练过程中接触到的敏感信息，往往会被“记住”，这引发了广泛的社会关注和担忧。为了解决这一问题，机器遗忘（Machine Unlearning）技术应运而生，其目标是在不显著影响模型整体性能的前提下，选择性地擦除模型中特定的知识或记忆。但这种“遗忘”真的彻底吗？来自香港理工大学、卡内基梅隆大学和加州大学圣克鲁兹分校的联合研究团队，最近通过一项开创性的研究，揭示了所谓“伪遗忘”的现象，指出：如果模型内部的表示结构没有发生根本性改变，那么所谓的“遗忘”可能只是暂时的行为抑制，而非真正的知识抹除。 这项研究为我们理解LLM的内部运作机制和构建更安全的AGI（通用人工智能）系统提供了全新的视角。更多前沿AI资讯和深度分析，欢迎访问AI门户 AIGC.bar (https://aigc.bar)。

什么是“伪遗忘”？行为抑制与结构抹除的天壤之别

研究团队的核心观点振聋发聩：“一个模型若仅仅在token输出上‘忘记’（例如，对于特定问题不再给出特定答案），而其内部表示结构几乎未变，那它随时可以恢复原样。” 这就是“伪遗忘”，或者研究者称之为“可逆性遗忘”。

为了更清晰地阐释这一点，研究者区分了两种主要的遗忘场景：

可逆（灾难性）遗忘（伪遗忘）：在这种情况下，通过某些遗忘技术处理后，模型在特定任务上的准确率可能会急剧下降，表现出“忘记”了相关知识。然而，其内部的表示空间结构保持了高度的完整性。一旦进行重新学习（Relearning），模型性能能够迅速恢复到原有水平，甚至有时会超越。这表明知识并未被真正抹除，只是被暂时“隐藏”或“抑制”了。

不可逆（灾难性）遗忘（真遗忘）：与前者相反，真正的遗忘伴随着模型内部表示结构的显著且协同的大幅度扰动。这种结构性的破坏是深层次的，即使通过重新训练，模型也难以恢复其原始性能。这才是我们期望通过机器遗忘技术达成的理想状态——彻底、永久地移除特定信息。

简单来说，行为上的“忘记”（如输出改变）并不等同于结构上的“抹除”。只有当模型内部的多层网络协同发生结构性变化时，才能认为发生了真正的遗忘。

洞察遗忘的奥秘：表示空间分析工具箱

为了系统性地区分这两种遗忘状态，研究团队构建了一套强大的表示空间诊断工具箱。这个工具箱能够深入模型内部，观察和量化在遗忘、重学习或微调等过程中，模型表示层发生的内在变化。主要工具包括：

主成分分析相似性/漂移 (PCA Similarity/Shift)：PCA是一种常用的降维技术。通过比较遗忘前后及重学习后各层表示空间主方向的相似性，可以判断结构是否恢复。PCA Shift则量化了表示分布中心的偏移程度，揭示“表示漂移”的尺度和方向。在不可逆遗忘中，PCA主方向会发生显著旋转，分布中心也会出现大尺度、难以还原的位移。

中心核对齐相似性分析 (CKA)：CKA用于衡量不同层或不同模型状态下表示空间的结构相似性。线性CKA能够揭示各层之间的结构保留程度。在可逆遗忘场景下，CKA值在遗忘和重学习后几乎不受影响，表明结构高度保留；而在不可逆遗忘场景下，CKA值会迅速下降，表示结构退化为低相关性。

费雪信息矩阵 (Fisher Information Matrix, FIM)：FIM从参数空间的角度提供了另一种观察视角，它能衡量模型参数对模型输出的重要性。通过观察关键层（如研究中聚焦的Layer 31）的Fisher信息分布是否在遗忘后仍保留原始结构，可以判断参数层面的扰动程度。

这些精密的分析工具，使得研究者能够超越表面现象，深入探究大模型“遗忘”的本质，为判断模型是否真的“忘记”提供了可靠依据。这对于优化AI模型的提示词（Prompt）设计，提升模型输出的可控性具有重要意义。

“遗忘”的边界：从单次操作到持续性风险

研究者通过在Yi-6B等大模型上的实验，进一步探究了不同遗忘方法（如GA, GA+KL, NPO, RLabel）在单次遗忘和持续遗忘场景下的表现。结果显示：

持续遗忘风险远高于单次操作：虽然单次遗忘操作在很多情况下是可逆的，即模型性能可以在重学习后恢复。但是，当面临持续性的遗忘请求（例如，连续遗忘100条不同的信息）时，模型更容易发生彻底的、不可逆的崩溃。这提示我们在实际应用中需要警惕累积效应带来的风险。

不同遗忘方法的稳定性差异：实验表明，像GA（梯度上升）和RLabel（随机标签）这类方法更容易导致过度遗忘，对模型结构造成较大破坏。而GA+KL（梯度上升加KL散度约束）和NPO（负偏好优化）等方法则表现出更高的稳定性，能在一定程度上平衡遗忘效果和模型整体性能的保持。

这些发现对于设计更鲁棒和可控的机器遗忘策略至关重要。理解遗忘的边界和不同方法的特性，有助于我们在实际应用中，如处理用户数据删除请求时，做出更明智的选择。

超越表面：结构性遗忘对AI安全的深远意义

这项研究的核心结论——真正的遗忘表现为结构漂移而非仅仅是输出准确率的下降——对AI安全、隐私保护和可信AI的发展具有深远影响。

首先，它警示我们不能仅仅依赖于token-level的指标（如遗忘样本的准确率或困惑度）来评估机器遗忘的效果。因为这些表面指标可能掩盖了“伪遗忘”的风险，使得看似被“遗忘”的敏感信息仍潜藏在模型的稳定结构中，随时可能被恶意攻击者恢复或在不经意间泄露。

其次，研究中提出的表示空间诊断工具（PCA, CKA, FIM等）不仅能够帮助我们判断模型是否真正“忘记”，更重要的是，它们能够定位到结构性破坏发生的具体位置和程度。这为未来实现“可控、局部、不可逆”的精确遗忘机制奠定了基础。我们或许可以期待，未来的机器遗忘技术能够像外科手术一样精准地移除特定信息，而不损伤模型的其他重要功能。

有趣的是，研究还发现了一个潜在的积极效应：在某些场景中，经过“遗忘-重学习”过程后，模型对原遗忘集的表现甚至优于其初始状态。这提示我们，Unlearning过程可能具有类似对比式学习或课程学习的正则化效果，有助于模型形成更优的知识表示。

结论：迈向真正可信的机器遗忘

港理工等团队的这项研究，通过深入剖析大模型遗忘过程中的结构性变化，为我们揭示了“伪遗忘”的本质和风险。它强调了从表示结构层面理解和评估机器遗忘的必要性，并提供了一套行之有效的诊断工具。

核心结论可以总结为：

结构不变即未真忘：仅凭输出行为判断遗忘是不可靠的，“伪遗忘”风险不容忽视。

持续遗忘需警惕：多次遗忘操作更容易导致模型结构崩溃。

诊断工具是关键：PCA、CKA、FIM等工具能有效揭示模型内部的结构变化。

可控遗忘是目标：未来的研究应致力于实现精确、不可逆且对模型整体性能影响最小的遗忘机制。

这项工作不仅推动了机器遗忘领域的技术进步，也为构建更加安全、可靠和值得信赖的人工智能系统，乃至未来的AGI，迈出了坚实的一步。随着AI技术的不断发展，无论是OpenAI的ChatGPT，还是谷歌的Claude模型，或是其他新兴的大模型，都需要更精细化的遗忘机制来保障用户隐私和数据安全。关注AIGC.bar (https://aigc.bar)，获取最新的AI新闻、AI日报和LLM研究动态，共同见证人工智能的未来。