数据为王：昆仑万维新模型制霸AI基准 | AI资讯

type

status

date

slug

summary

人机协同：2600万条“精兵”数据的诞生之路

奖励模型的性能，很大程度上取决于其训练数据的规模与质量。然而，高质量的人类偏好数据获取成本高昂、效率低下，且容易引入噪声，导致模型出现“过度优化”——即模型学会了迎合奖励模型的特定偏差，而非真正的人类偏好。

为了解决这一行业痛点，昆仑万维的研究团队独创了一条“人机协同、两阶段迭代”的数据生产线。

第一阶段：人类引导，精铸“金银”标准。 此阶段直面“弱模型产出低质数据”的恶性循环。研究人员首先通过人工标注，构建小规模、高质量的“黄金”偏好数据集；同时，利用现有模型生成更大规模的“白银”数据集。随后，用“白银”数据训练初代奖励模型，并用“黄金”数据来评估其短板，再针对性地让人工重新标注模型表现不佳的样本，进行迭代优化。这一过程巧妙地结合了人类的精准判断与模型的规模化能力。

第二阶段：AI主导，全自动规模化扩展。 在第一阶段训练出可靠的奖励模型后，流程进入全自动化阶段。系统利用这个模型与一个基于“黄金”数据训练的“黄金”奖励模型相结合，通过一致性过滤机制，从海量的原始数据中进行二次筛选。由于无需人工介入，数据扩展的效率和规模得到了指数级提升。

通过这条创新的流水线，团队最终从4000万原始样本中，精炼出了2600万条高质量的偏好数据。这种方法不仅显著降低了人工成本，更实现了数据规模与质量的完美平衡，为训练出顶尖的大模型奠定了坚实基础。

“小打大”的逆袭：数据质量如何战胜参数规模？

长期以来，AI领域似乎遵循着“参数越大，模型越强”的定律。然而，Skywork-Reward-V2的实证结果有力地证明：极致的数据工程，能够让“小模型”爆发出惊人能量。

最令人瞩目的发现是，数据质量的提升可以极大地抵消参数规模的限制。例如，系列中仅有6亿参数的Skywork-Reward-V2-Qwen3-0.6B模型，其性能已大幅追近上一代拥有270亿参数的最强模型，参数量相差整整45倍！而17亿参数的版本，其平均性能已能与当前700亿参数的开源SOTA模型分庭抗礼，在部分指标上甚至实现超越。

这一“小打大”的现象传递出一个明确信号：在LLM的军备竞赛中，单纯堆砌参数已非唯一路径。有针对性的、高质量的训练数据，结合精细化的模型训练范式，正成为提升模型能力、实现更高效率的全新突破口。这一发现，对于广大开发者和研究者如何有效利用资源，打造强大的AI应用具有重要的指导意义。

从“评分器”到“价值建模器”：模型的强泛化能力

一个优秀的奖励模型，不应仅仅是一个在特定基准上跑分高的“弱监督评分器”，而应是一个能够深刻理解并泛化人类复杂价值的“强泛化价值建模器”。Skywork-Reward-V2在多个维度上展现了这种高级能力。

客观正确性： 在JudgeBench等评估客观知识、推理与数学能力的基准上，Skywork-Reward-V2系列模型在知识密集型任务上超越了所有同类开源模型，其8B版本在数学能力上甚至超越了强大的闭源模型。

抵抗风格偏见： 在专门评估模型抵抗风格偏差能力的RM-Bench上，Skywork-Reward-V2同样取得了SOTA成绩，证明其不会轻易被表面的写作风格所迷惑，而是能更深入地评估内容的核心价值。

强大的扩展性： 在Best-of-N（BoN）能力测试中，模型展现出持续的正向扩展性，即随着候选答案数量的增加，其挑选出最佳答案的准确率也随之稳定提升，全面超越了包括GPT-4o在内的先前最强模型。

这些表现标志着奖励模型正从简单的偏好判断，走向对人类价值更结构化、更深层次的建模，这是通往更高级人工智能（AGI）的关键一步。

开源浪潮下的AI新生态

昆仑万维此次不仅开源了Skywork-Reward-V2系列模型，更将其背后凝聚了巨大心血的2600万条精选偏好数据集公之于众。这已不是其首次为开源社区做出贡献，从代码智能体、空间智能模型到多模态和视频生成模型，昆仑万维的持续开源正不断为AI生态注入新的活力。

这种开放、协作的精神，无疑将加速整个AI领域的技术迭代。对于开发者而言，这意味着可以站在巨人的肩膀上，利用这些顶级的模型和数据，探索更多AI变现的可能性，创造出更具创新性的应用。对于整个行业来说，这是推动技术边界不断外延的强大动力。

总而言之，Skywork-Reward-V2的成功，是“数据驱动对齐”理念的一次华丽实践。它证明了通过创新的数据工程，我们能够以更高效、更可控的方式提升大模型的能力。想获取更多前沿的AI日报和行业动态，可以关注专业的AI门户网站，如 AIGC Bar ( https://aigc.bar )，持续追踪技术演进的最新脉搏。