大模型训练革命：成本直降90%的同策略蒸馏技术深度解析

type

status

date

slug

summary

传统大模型训练的困境：强化学习与监督微调的“两难”

要理解同策略蒸馏的革命性，我们首先需要了解当前主流的两种后训练（post-training）方法：同策略（On-policy）训练和异策略（Off-policy）训练。

同策略训练（以强化学习RL为代表）：这种方法好比让学生（小模型）自己做题。学生根据自己生成的结果获得一个最终的奖励或惩罚（比如答案正确与否）。它的优点在于，学生能直接从自己的错误中学习，避免重蹈覆覆。但缺点也极其明显：反馈过于稀疏。就像做一道复杂的数学题，最后只被告知“错了”，却不知道错在哪一步计算或哪个逻辑环节，学习效率极低。

异策略训练（以监督微调SFT/蒸馏为代表）：这种方法则像是让学生抄学霸的作业。学生学习由一个强大的教师模型（大模型）生成的高质量范例。这种方法的优点是奖励信号密集，学生每一步都能学到“正确”的做法，数据效率高。然而，其弊端在于分布失配（Distribution Mismatch）。学生只学习了教师模型擅长的路径，一旦自己在推理中犯了一个教师从未犯过的错误，就可能偏离轨道，难以纠正，导致误差累积。

这两种方法形成了一个“两难”：要么在自己的错误中低效摸索（RL），要么高效模仿他人却可能学不到应对自身错误的能力（SFT）。

融合之道：同策略蒸馏（On-Policy Distillation）的核心思想

同策略蒸馏巧妙地融合了上述两种方法的优点，旨在实现两全其美。

其核心思想是：让学生自己做题，同时请一位特级教师（Teacher Model）在旁边对学生的每一步进行实时评分和指导。

具体来说，训练流程如下： 1. 学生生成轨迹：首先，让需要训练的学生模型（小模型）自己尝试解决一个任务，生成一个完整的解题步骤（轨迹）。 2. 教师逐一评分：然后，利用一个性能强大的教师模型（大模型），不是简单地判断最终结果对错，而是对学生生成的轨迹中的每一个Token（每一步）进行打分。教师会评估每一步对于导向正确答案的贡献度。 3. 密集奖励更新：学生模型根据这些来自教师的、密集的、与其自身行为直接相关的奖励信号来更新自己的参数。那些导向错误答案的步骤会受到惩罚，而正确的步骤则被强化。

这种方式，既保证了训练数据与学生自身状态的相关性（同策略的优势），又提供了稠密、高质量的监督信号（蒸馏的优势），从而极大地提升了训练效率和效果。

惊人效果：成本降低90%，性能反超的实证研究

空谈不如实证。Thinking Machines通过复现和扩展Qwen3团队的实验，展示了同策略蒸馏惊人的威力。

实验以训练Qwen3-8B-Base模型解决数学推理任务为例，并以更强大的Qwen3-32B为教师模型。结果显示：

计算成本大幅降低：在AIME'24数学基准测试中，为了将模型的得分从60%提升到70%，同策略蒸馏所需的计算量远低于其他方法。Qwen团队报告称，他们仅用强化学习1/10的成本，就通过同策略蒸馏取得了74.4%的更高分数。若以梯度步数衡量，其计算效率更是RL的50-100倍。

数据效率显著提升：在强化学习中，反复使用同一提示词训练容易导致模型死记硬背。而同策略蒸馏由于学习的是教师模型的完整分布，可以高效地重复利用数据。实验表明，即使仅用一个训练样本进行多轮次训练，学生模型也能学到接近教师模型的性能。

这些数据雄辩地证明，同策略蒸馏不仅不是一个理论概念，更是一种在实践中被验证的高效、经济的大模型训练方法。

超越性能提升：持续学习与个性化的新范式

同策略蒸馏的价值远不止于提升特定任务的性能，它还为解决AI领域的一大难题——灾难性遗忘（Catastrophic Forgetting）提供了新的思路，尤其是在模型的持续学习和个性化方面。

当一个已经训练好的模型（如ChatGPT或Claude）在新的专业数据（如公司内部文档）上进行微调时，它往往会“忘记”之前学到的通用能力，比如遵循指令或进行流畅对话。

同策略蒸馏提供了一种优雅的解决方案： 1. 微调新知识：首先，在新的领域数据上对模型进行微调，使其掌握专业知识。 2. 恢复旧能力：然后，以微调前的原始模型作为教师，在通用指令数据集上运行同策略蒸馏。这个过程就像是让模型“回忆”起它丢失的能力。

实验证明，通过这种方式，模型可以在不损失新学知识的前提下，几乎完全恢复其原有的指令遵循等能力。这为模型的持续学习和迭代更新开辟了道路，使得打造一个既有深厚领域知识又具备优秀通用能力的个性化人工智能助手成为可能。

结论

同策略蒸馏（On-Policy Distillation）通过将同策略学习的相关性与蒸馏的密集奖励相结合，为大模型的后训练阶段提供了一种成本极低、效率极高的解决方案。它不仅能以远低于强化学习的成本训练出性能卓越的小模型，还在数据重用、持续学习和防止灾难性遗忘方面展现出巨大潜力。

这项由Thinking Machines推进的“黑科技”，本质上是将任何一个强大的LLM本身变成了一个无需额外训练的“奖励模型”，极大地降低了先进AI技术的应用门槛。未来，我们有理由相信，这项技术将在AI变现、个性化助手、领域专家模型的开发中扮演越来越重要的角色，推动人工智能向更高效、更普惠的方向发展。想获取更多关于LLM和Prompt工程的最新AI新闻和深度分析，欢迎访问一站式AI信息平台 https://aigc.bar。