德国AI联盟发布Soofi S 30B开源模型：混合架构登顶英德双语基准测试

type

status

date

slug

summary

事实梳理：混合架构与德国本土化训练

Soofi S 的核心亮点在于其极具资源效率的混合架构（Hybrid Mamba-Transformer architecture）。该模型采用了无缝引入英伟达 Nemotron 3 Nano 的混合设计，作为一款混合专家模型（MoE），虽然其总参数量高达 316 亿（31.6B），但在生成每个 token 时仅激活约 32 亿（3.2B）参数。这种设计让它的实际计算成本更接近 3B 级别的模型，而非传统的 30B 模型。

在内存管理方面，传统模型用于注意力计算的 KV 缓存会随着上下文长度线性增长，这在处理长文本时往往成为性能瓶颈。而 Soofi S 的52个网络层中，仅有6层保留了此类缓存。这一架构创新使其在高达 256,000 个 token 的长输入条件下，依然能保持几乎恒定的吞吐量。

此外，Soofi S 是一次纯粹的“欧洲本土制造”。其整个训练过程在慕尼黑的德国电信工业AI云上完成，全程采用可再生能源及水冷技术。模型共吸收了约 27 万亿个 token 的数据，分为三个训练阶段。为了强化德语能力，联盟在数据配比上进行了倾斜：第一阶段德语数据占比达 7.2%，第二阶段提升至 15.3%，大幅高于普通模型中非英语数据通常仅占 5% 的比例。

影响与应用：全面领跑开源基准测试

在实际表现上，Soofi S 展现出了惊人的竞争力。根据其预训练报告，在与16款主流开源模型的对比中，Soofi S 在英语和德语的综合得分上均位居全面开源模型榜首，成功击败了艾伦人工智能研究所（AI2）的 OLMo 3 32B 以及苏黎世联邦理工学院主导的 Apertus 70B 等强劲对手。

在代码能力方面，Soofi S 同样表现不俗，在 HumanEval 测试中获得 73.8% 的准确率，MBPP 达到 70.2%，而德语版 MBPP 更是高达 84.2%，位列同级别开源模型之首。对于需要处理大规模文档、多语种翻译及复杂代码生成任务的企业与开发者而言，Soofi S 兼具了高吞吐量与低计算负担，提供了极具潜力的应用基础。

风险、限制与争议：数据污染与“过度训练”

尽管首战告捷，但 Soofi S 的发布过程并非一帆风顺，其中暴露出的大模型开发普遍面临的风险值得行业深思。

首先是**数据污染风波**。在初始发布后，开源社区在公开的训练数据中发现了污染问题。由于 Hugging Face 平台上 GPQA 测试集标签设置的特殊性，数据管道意外将包含部分测试题重述内容的 QA-base 数据集混入了练习题中。事件发生后，联盟迅速作出了响应，从评估中全面剔除了 GPQA 成绩并重新计算所有模型的排名。最终排名虽未发生变化，但这印证了“开源验证”机制的重要性——正是因为数据的公开，社区才能及时发现并协助纠正偏差。团队也以此为戒，转为采用自动化交叉检查机制来核对训练数据。

其次是**“过度训练”的争议**。部分批评者引用 2022 年 Google DeepMind 提出的 Chinchilla 缩放定律（即每参数约 20 个 token 为最佳），认为 Soofi S 消耗 27 万亿 token 训练 300 亿参数（活跃参数仅 32 亿）的做法属于严重的过度训练。对此，项目技术负责人 Michael Fromm 予以反驳，指出传统的密集模型缩放定律并不适用于 MoE 架构。由于专家层可以从重复暴露于高质量数据中获益，且行业内如英伟达等巨头也在使用类似规模的 token 进行训练，因此该指责站不住脚。

最后，模型在**特定场景下的局限性**也已被记录。由于活跃参数较少，Soofi S 在自然问题（NaturalQuestions）等开放性事实检索以及德语数学竞赛（Minerva MATH-DE）上的表现不及参数更密集的模型。此外，在 RULER 长上下文测试中，当上下文超过 32,000 个 token 后，其提取频繁出现词汇的准确率会急剧下降，说明尽管底层架构支持长文本，但由于缺乏针对性的合成提取任务训练数据，其长文本信息提取能力仍有待提升。

结语

Soofi S 的推出，标志着欧洲在构建完全自主、透明且高性能的开源大模型道路上迈出了坚实的一步。通过公开模型权重、中间检查点、训练代码以及详尽的数据清单，Soofi S 符合 OSI 最新的开源 AI 定义标准（Open Source AI Definition 1.0）。目前，经过微调的指令（Instruct）与推理（Reasoning）版本正在进行 Beta 测试，而更大参数规模的 Soofi L 模型也已在训练之中。期待其在未来的迭代中，能够进一步补足事实检索与长文本精准提取的短板，为全球 AI 生态贡献更多力量。