砍掉独立编码器：Gemma 4 12B推翻多模态"拼接设计" 文章

一个 12B模型，凭什么让26B MoE紧张？ 2026年6月4日，Google发布Gemma 4 12B。官方定位很克制：介于E4B与26B MoE之间的中端型号，能跑16GB笔记本，Apache 2.0开源。 DeepMind科学家Michael Tschannen的推文泄露了另一层意图。"过去几年我的研究重点是统一跨模态的模型和训练范式。今天发布的Gemma 4 12B，直接处理原始文本、图像和音频输入。" 关键词是"直接"。"支持""融合"都不准，只有一个词能概括：直接。 绝大多数科技自媒体只盯着16G笔记本、开源免费两个噱头，完全无视这次发布真正颠覆多模态行业的底层架构革新。这也是12B能威胁26B MoE的核心密码。 多数报道把"无编码器"解读为减法：用35M轻量嵌入替代数百兆的ViT，显存从15GB压到9GB，刚好塞进消费级笔记本。这个解读没错，但漏掉了更底层的东西。 若仅以降低显存为目标，Google完全能通过量化蒸馏改造现有26B MoE，没必要从零重构整套多模态架构。Gemma 4 12B是重新设计的，它要做的不是把模型做小，而是让原始音画无损直通LLM。 传统多模态的巴别塔困境：编码器翻译必然损耗信息 过去三年，主流多模态模型，LLaVA、GPT-4V、甚至Gemma 4 26B，本质上都是拼接怪。内部结构大同小异： ViT编码器（通常12-24层）把图像切成patch，提取特征向量；Conformer或Whisper编码器把声波转成梅尔频谱，提取声学特征。然后两者分别经过对齐层，投影到LLM的文本向量空间。最后，语言模型才开始处理这些被转换过的信息。 这个架构能工作，但有一个结构性缺陷：信息在到达LLM之前，已经过至少一次压缩和转换。ViT输出的是高维特征向量，原始像素已经不存在；Conformer输出的是声学特征表示，原始声波已经不存在。LLM拿到的是经过压缩提炼的高层特征，丢失大量原始画面的空间细节和音频的时序纹理。 三种模态的优化目标也相互割裂。ViT学图像分类，Conformer学语音识别，LLM学文本预测。拼接时需要用额外训练弥合差异，"学了看图忘了说话"的灾难性遗忘反复出现。 编码器本身没做错什么。错的是"必须分层转译"的架构规则。压缩转换一旦发生，信息损耗就不可逆。