20岁写出Transformer的人，真开源了2180亿大模型 文章

「Attention Is All You Need」，正是这篇著名的论文，催生了今天所有的大模型。 5月20日，该论文的一位共同作者Aidan Gomez，在X上宣布推出首个完全开源的Apache 2.0许可的模型：Cohere Command A+。 Gomez是前谷歌研究员，如今是Cohere的联合创始人兼CEO。 Command A+是Command A家族的最后一个模型，也是Cohere的第一个MoE（混合专家）模型。218B总参数，25B激活参数：一次性把视觉输入、推理、翻译和AI智能体能力，全部塞进了同一个模型。 最低部署配置：1张NVIDIA B200，或者2张H100。许可证：Apache 2.0。 https://cohere.com/blog/command-a-plus 据VentureBeat报道，这是Cohere历史上第一个真正可商用的开源旗舰。联合创始人Nick Frosst称它是「我们发过最好的模型」。 2180亿参数，每次干活的只有250亿 2180亿参数，听起来就是个吞算力的巨兽。但Command A+每次生成，真正被激活的只有250亿参数。 这正是MoE架构的精髓。 一个MoE模型，会将进来的问题只路由给最擅长处理它的那几个「专家」神经网络，其余部分保持休眠。这样的设计，既让模型保留了「巨头级」的知识储备和推理能力，但运行时的算力和能耗，却接近一个小得多的模型。 VentureBeat报道，据第三方观察估计，OpenAI的GPT-5.5、Anthropic的Claude Opus 4.7参数量都在万亿级别，而Command A+每次激活的参数只有250亿。 靠MoE省算力，如今是大多数头部模型的惯常做法。但Cohere在这个基础上又叠了第二层压缩：量化。 Command A+提供BF16、FP8和高度压缩的W4A4三种版本，其中W4A4是这次发布的技术核心。 通常，推理模型一旦被压缩，复杂问题上的表现会肉眼可见地退步，业内称之为「量化税」。 Cohere的做法，是只将MoE专家压到4-bit，关键的注意力通路保留全精度，再叠加一项叫量化感知蒸馏（Quantization-Aware Distillation）的技术。 Cohere称其W4A4量化方案接近

摘要可能不完整，可查看原文