Li Auto发布HVO框架：让7B模型在多目标优化中比肩GPT-4

type

status

date

slug

summary

文本摘要的“帕累托之困”

在传统的 AI 训练中，开发者通常面临“拆东墙补西墙”的窘境。例如，为了提升摘要的相关性，模型可能会牺牲一致性，导致生成内容虽然涵盖了关键词，逻辑却支离破碎。

目前主流的解决方法是采用加权线性组合（Weighted Linear Combination），即将各项评估指标通过人工设定的权重相加。然而，这种方法存在两大硬伤： 1. 人工依赖严重：需要反复手动调优权重，费时费力。 2. 难以处理冲突：无法有效解决不同目标之间的相互依赖，容易陷入局部最优，无法达到真正的“帕累托最优”（Pareto optimal）。

HVO：为GRPO装上“运筹外挂”

为了打破这一瓶颈，Li Auto 团队借鉴了 DeepSeek-R1-Zero 的训练范式，在组相对策略优化（GRPO）框架的基础上，引入了超体积指标（Hypervolume）。

HVO 的核心逻辑在于：不再简单地对各项得分进行求和，而是通过计算高维目标空间中的超体积，动态调整不同指标的权重。这种方式能够引导模型在训练过程中自动寻找各维度表现最均衡的解，从而稳步逼近帕累托前沿。

HVO框架的三大技术亮点

HVO 的成功并非偶然，它在技术架构上进行了三项关键创新：

原生支持GRPO框架：HVO 直接在基础模型上应用 GRPO，无需经过监督微调（SFT）或冷启动初始化。这意味着模型可以在纯强化学习的环境下，通过自我演化提升性能。

动态得分调整机制：利用超体积计算，HVO 能够实时识别哪些指标落后，并动态分配更多的优化资源。这种“补齐短板”的策略，使得模型在雷达图上的表现更加饱满。

智能长度约束（Rconciseness）：针对 GRPO 训练中常见的“长度坍缩”或“废话连篇”问题，研究团队设计了一种新的长度约束奖励。它在确保摘要简洁的同时，维持了模型的收敛稳定性。

实验见证：7B模型的“越级”挑战

研究团队以 Qwen 2.5-7B-Instruct 作为基座模型，在 CNN/DailyMail 和 BillSum 两个权威基准数据集上进行了测试。实验结果令人振奋：

综合素质比肩GPT-4：在 UniEval 多维度评估中，经过 HVO 增强的 7B 模型在总分上几乎与 GPT-4 持平，甚至在某些一致性指标上实现了反超。

拒绝冗余，更加干练：散点图分析显示，HVO 生成的摘要在保持高分的同时，篇幅显著短于其他模型。这证明了 HVO 能够生成“干货满满”的高质量内容。

更均衡的指标覆盖：对比普通 GRPO 发现，HVO 避免了模型过度追求单一指标（如流畅性）而忽略其他维度的倾向，实现了真正的全方位进化。

总结与AI未来展望

Li Auto 团队发布的 HVO 框架为多目标文本摘要提供了一个稳健且高效的解决方案。它有力地证明了：通过科学的优化策略和创新的强化学习架构，较小规模的开源模型完全有潜力在特定垂直任务上对标顶尖的闭源大模型。

随着 AGI 技术的不断进步，这种高效的优化方法将不仅限于文本摘要，未来更有望扩展到复杂决策、多模态生成等更多领域。

如果你想了解更多前沿 AI 资讯、大模型技术深度解读或获取最新的 AI 日报，欢迎访问 AI门户。在这里，我们为你提供最全的 AI 新闻与 Prompt 提示词技巧，助你在人工智能时代保持领先。