牛津、英伟达等提出记忆压缩新范式：训练时让模型学会断舍离 文章

2026 年初，各大 AI 厂商在上下文窗口长度上展开激烈角逐。Google 的 Gemini 3 Pro 已支持 100 万级 token 上下文，Meta 的 Llama 4 Scout 更宣称可处理 1000 万 token。GPT-5 系列也在快速推进长上下文能力。 按这个趋势，今天的大模型已经能够一口气读完整套《哈利・波特》，未来甚至可能直接分析整个大型代码仓库。 但数字背后也隐藏着一个关键问题：上下文越长，模型就越「记不住」。 这并非模型不够聪明，而是 Transformer 架构本身的工程约束。当模型处理长文本时，需要为每个 token 保存 Key-Value（KV）状态，用于后续生成时的注意力计算。这个缓存区域被称为 KV Cache。 KV Cache 的大小会随上下文长度线性增长：输入越长，占用的 GPU 显存越多，推理速度也越慢。对于百万 token 级别的输入，在大型模型和高精度推理场景下，KV Cache 的内存开销可达到数十到数百 GB，远超单张顶级 GPU 的显存容量。 上下文窗口的竞赛，本质上是一场显存的战争。 面对这一困境，研究者们已经开发出多种「事后压缩」方案，也就是在模型训练完成之后，用各种算法对 KV 缓存进行精简。这些方法确实有效，但它们都遗漏了一个更根本的问题：如果模型在最初学习的时候，就没有被引导去生成「容易被压缩」的内部表示，那么后期无论怎么压缩，效果都将受到天花板限制。 就在这一背景下，来自牛津大学、以色列理工学院、AITHYRA 和英伟达的联合研究团队提出了一个新的思路：与其事后弥补，不如训练时就让模型主动学会「压缩友好」的记忆方式。 他们将这套方法命名为KV-CAT（KV 压缩感知型训练，KV-Compression Aware Training）。 论文标题：Training Transformers for KV Cache Compressibility 论文地址：https://arxiv.org/abs/2605.05971 KV 缓存为何如此难压缩？ 要理解这项研究的价值，先得弄清楚一个直觉上看似奇怪的事实：两个输出完全相同的模型，其 KV 缓存可能一个极易压缩，另一个根本无法压缩。 这听起来很反直觉。