Transformer作者操刀！2180亿大模型Command A+：Apache 2.0开源新标杆

type

status

date

slug

summary

Command A+：2180亿参数下的MoE架构精髓

Command A+的总参数量高达2180亿，这通常意味着巨大的算力需求。然而，其核心创新在于采用了混合专家（MoE）架构。这意味着在每次模型进行推理时，只有约250亿参数被激活。MoE架构的精髓在于，它能根据输入任务的特点，将计算任务智能地路由给最擅长处理该类任务的“专家”神经网络。这种设计巧妙地平衡了模型庞大的知识储备与高效的运行效率，使得Command A+在保持强大推理能力的同时，显著降低了实际运行时的算力和能耗，使其在性能上能与万亿级别参数的模型相媲美，但运行成本却更为可控。

效率与性能的飞跃：量化技术与硬件优化

为了进一步提升模型的可部署性和效率，Cohere在Command A+中集成了先进的量化技术。模型提供了BF16、FP8以及高度压缩的W4A4版本。W4A4版本是此次发布的技术核心，Cohere通过将MoE专家参数量化到4-bit，同时保留关键的注意力通路为全精度，并结合量化感知蒸馏（Quantization-Aware Distillation）技术，声称实现了接近无损的量化效果。

这一系列优化使得Command A+的部署门槛大幅降低。官方数据显示，W4A4版本在低并发下可实现每秒375个token的生成速度，首token延迟仅为113毫秒。更令人振奋的是，这样一个庞大模型，最低仅需一张NVIDIA B200或两张H100 GPU即可运行。这标志着过去需要整个GPU集群才能支撑的千亿级模型，现在可能一台高性能服务器即可搞定，极大地降低了企业在AI硬件上的投入和部署复杂度。

真正的开源：Apache 2.0许可的意义

在当前的AI领域，“开源”一词的定义变得日益模糊。许多公司发布的模型虽然开放了权重，但却附带了限制性的商业条款，例如禁止大型企业商用或用于训练竞品。Cohere在此前的模型（如Command R系列）上采用了CC-BY-NC 4.0许可，限制了商业用途。

Command A+的发布，标志着Cohere在开源道路上迈出了关键一步。它采用了Apache 2.0许可，这是OSI（开源促进会）认可的、真正意义上的开源协议。这意味着从独立开发者到世界500强企业，任何人都可以在不支付授权费、不受竞业限制的前提下，自由地使用、修改、分发并商业化Command A+模型。这一决定由联合创始人Nick Frosst（AI教父Geoffrey Hinton门下弟子）力主推动，旨在让企业彻底摆脱对单一供应商的依赖，能够将模型部署在私有服务器甚至气隙网络中，实现数据隐私和成本的完全可控。

可信赖的AI：原生引用与智能体能力

对于金融、医疗、法律等高度监管的行业而言，AI模型的“可信度”是落地应用的最大瓶颈。Command A+在设计上就将“可追溯性”作为一项原生能力。当模型从外部工具检索信息时，它会生成“溯源标记”（grounding spans），将每一条事实声明直接链接到其引用的具体文档或数据库记录。这种原生引用（native citation）机制，极大地降低了模型产生幻觉的风险，使得AI的输出结果一目了然，大大增强了其在关键业务场景中的可靠性。

此外，Command A+还强化了智能体（Agent）能力。它支持标准的对话式工具调用，能够无缝对接内部API、搜索引擎或SQL数据库。同时，它具备全多模态能力，能在128K的输入上下文内原生处理文本和图像，非常适合处理发票、图表、技术手册等复杂信息。在多项开源基准测试中，Command A+展现了显著的性能提升，尤其在复杂推理和数学能力上表现出色，部分指标甚至可以媲美体量更大的模型。

结语：企业AI的“下半场”

Command A+的发布，不仅仅是又一个参数庞大的AI模型面世，它更代表了AI发展趋势的一个重要转折点。在Aidan Gomez（Transformer的年轻作者）和Nick Frosst（Hinton的门生）的带领下，Cohere正引领着企业AI进入一个更开放、更高效、更可信的新时代。

Command A+将前沿的推理能力、强大的智能体功能、多模态处理能力与为硬件效率设计的架构深度融合，并以Apache 2.0的完全开源许可铺平了企业落地的道路。这不仅降低了AI部署的门槛，也显著优化了推理的开销，使得企业能够更经济、更自主地将尖端AI技术融入自身业务流程。

在AI大模型竞争进入“下半场”之际，比拼的已不再仅仅是参数规模，而是谁能真正赋能企业将AI模型“搬进自己的机房”，解决实际业务挑战。Cohere的Command A+，正是这一趋势下的重要里程碑，它正以前所未有的方式，重写着企业采纳AI的成本与可行性账单。

了解更多AI资讯，请访问 https://aigc.bar