摘要
扩散模型杀进了文本生成的地盘，而巨头们为了抢它，已经打起来了。作者｜桦林舞王 编辑｜靖宇 在 AI 疯狂发展的当下，在一片狂热之下，行业同样在担心一个根本问题——LLM 是否已经走到头了？会不会有新的架构诞生，造就出新的 AI 王者。 5 月 13 日，外媒爆出一条消息，微软正在和一家叫 Inception 的小公司谈收购。就在同一天，马斯克的 SpaceX，也在追求这家公司。 一家吴恩达、Karpathy 做天使投资人、种子轮才拿了 5000 万美元的创业公司，现在开价超过 10 亿美元——溢价 20 倍。微软和 SpaceX 两个万亿级巨头同时下场争抢，抢的不是什么成熟业务，是一支斯坦福教授团队和一条几乎没人走过的技术路线。 这家和诺兰的《盗梦空间》用一样名字的初创团队，到底有什么不同凡响之处？ 01 三个教授和一个「异端」想法 Inception 的故事，要从它的创始人 Stefano Ermon 说起。 Ermon 是斯坦福大学计算机科学教授，但他更重要的身份是—— 扩散模型（Diffusion Model）的共同发明人 。大家今天用的 Midjourney、Sora、Stable Diffusion，底层都跑着他帮助开创的技术。他关于文本扩散的论文拿过 ICML 2024 最佳论文奖。 2024 年中，Ermon 从斯坦福休假，拉上了两个合作超过 10 年的老搭档——UCLA 教授 Aditya Grover 和 Cornell 教授 Volodymyr Kuleshov，在 Palo Alto 创立了 Inception Labs。 这三个人有一个在当时看来相当「异端」的想法： 把扩散模型从图像领域搬到文本生成领域，彻底替换掉自回归架构。 Andrej Karpathy 在 Inception 发布第一个模型时就在 X 上表达了兴趣。他说，今天几乎所有 LLM 在核心建模方法上都是「克隆体」，都是从左到右逐个预测 token。扩散模型完全不同——它不是从左到右生成，而是从噪声中逐步去噪，最终得到一个完整的 token 序列。他觉得这个模型「有潜力展现全新的、独特的能力特征」，鼓励大家去试。 Karpathy 不只是嘴上说说。他和吴恩达（Andrew Ng）都以天使投资人身份参与了 Inception 的种子
摘要可能不完整，可查看原文