Engram创始人：模型再大，记不住也是白搭 文章

提示词调到极致，也比不上等一个新版本。这是 Engram 联合创始人 Dan Biderman 的判断，也是这家公司创立的起点——当整个行业都在卷上下文工程、RAG、工具调用，Biderman 和他的搭档 Jessy Lin 却把目光投向了另一条路：训练。不是训练更聪明的模型，而是训练模型去记住你。 Biderman 出身神经科学，Lin 来自 NLP 与认知计算方向，两人组建了一支小而精的团队，成立了一家被称为"Neolab"的新兴 AI 实验室。Engram 不做通用大模型，它的客户是每一家需要让 AI 真正理解自身业务的团队——Notion、Microsoft、Harvey 等公司已经在用它训练自己的"专属模型"，让引擎不仅仅是回答问题，而是像一个老员工一样，记住每一次决策、每一轮迭代和每一个领域特有的暗知识。 在本期 45 分钟的播客专访中，两位风投背景的主持人带着一个核心问题追问到底：当 AI 模型已经足够聪明，下一个瓶颈是什么？Engram 的回答很干脆——记忆。不是把更多东西塞进上下文窗口，而是让记忆刻进模型的权重里。 本文编译自 YouTube 播客专访《Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin》。以下是完整编译。 1 "我们的模型始终在训练"——打破预训练与后训练的边界 Engram 官网有一句话让主持人一开始就追问："我们不从预训练或后训练的视角看世界。我们的模型始终在训练。" 这是什么意思？ Jessy Lin 的解释直接："今天的模型已经非常聪明了。但让这些模型更有用的瓶颈，不再是原始智能，而是理解新的、持续变化的上下文——比如你正在做的新任务，或者某个公司特有的工作方式。问题是：我们怎么把这些东西烘焙进模型的权重里，就像预训练把'法国首都是巴黎'烘焙进去一样深？" Dan 用一个更感性的比喻补充道："就像我们人类，每天睡一觉，第二天回到工作上，大脑里不只有笔记，还有一种新的直觉——知道该往哪儿看，该怎么想。现在的 AI 解决方案，都是外部化记忆：把东西写进上下文、写进笔记。但这有两个问题：第一，你每天产生的 token 很快会到达数千万级别，检索成本极高；第二，外部记忆没有真正的理解，只有查找。"…

摘要可能不完整，可查看原文