Meta CTO 自爆Llama 4掉队真相：为了让Llama 3强行出头，我们亲手“废了”自己的后路 文章

在软件研发里，最怕的是把未来的“存粮”一次性吃光。Meta 的 CTO Andrew Bosworth（以下简称 Bos）在最近的 Big Technology Podcast 播客中聊起 LLaMA 4 的被动局面时，复盘了那个无心之失。 在交付 LLaMA 3 时，Meta 团队太想打个漂亮仗，把原本预留给下一代版本的路径探索、前沿设想一股脑都提前透支了。结果，LLaMA 3 赢得了满堂彩，却直接导致研发 LLaMA 4 时管道空空如也，在推理（Reasoning）和混合专家模型（MoE）上瞬间落后了别人一个身位。这次技术断档，逼得马克·扎克伯格（Mark Zuckerberg）改变策略，彻底进入了疯狂抢算力、抢人才的“创始人模式”。 大象掉头，内部免不了骨折。为了快速补课，Meta 发起了一次极度紧迫的“战时动员”：数千名非 AI 部门的资深工程师被迫暂停手头的核心项目，一夜之间被抽调去给 AI 标定专家代码数据。这种粗暴的强推在内部引爆了极大的积怨，甚至有员工向媒体抱怨这简直像是在“集中营干苦役”。对于高层沟通的缺失，Bos 没有粉饰，他承认自己在内部被泄露的邮件中把这次管理称为“极其糟糕”（atrocious）。但他坚持认为方向没有错——为了让大模型学会“如何像人类一样正常使用电脑软件”这种基础操作，Meta 甚至开始追踪和收集员工敲击键盘、点击界面的底层交互轨迹，因为在强化学习时代，这种不体面的“脏数据”才是最稀缺的燃料。 Bos 觉得，这些内部管理的撕扯和阵痛，就像他曾在一篇神经生物学博客里写过的那样——“痛苦即康复”（Pain is rehab），不经历戒断般的剧痛，系统就无法真正重塑。在这场对话中，他聊了聊为什么万能单体大模型已经死了、为什么他固执地拒绝安装家里烤面包机的 App，以及他脑海中那个不需要任何应用商店的眼镜未来： LLaMA 3 提前透支了所有技术路线，给 LLaMA 4 留下了一个空空的管道。研发 LLaMA 3 时，Meta 掏空了所有的技术储备来确保当时版本的成功。这导致研发 LLaMA 4 时面临技术断档，在如今最核心的推理和混合专家模型（MoE）上，不得不重新在空白中探索。 单体万能大模型的时代已经死了，以后是小模型和多模态各司其职。