摘要
80分钟的拳击式辩论！Transformer联合发明人亲自下场为自己的作品辩护，对面三位挑战者直指五大死穴。这是AI架构十年来最硬的一次正面交锋。统治AI黄金十年的架构，地基是不是已经松了？ Transformer凭什么统治AI这么久？ 长上下文、记忆、推理这些短板，新架构真能突破吗？ 所谓「后Transformer」，到底是更强的记忆机制、更高效的序列建模，还是从训练到系统都得换一套？ 5月5日，旧金山，Pathway搞了场拳击擂台式的辩论赛。 这不是比喻，是真擂台。 一边是Transformer的共同发明人Łukasz Kaiser，另一边是主张「后Transformer时代」的新架构派。 注意一个细节：注意力机制的两位联合发明人，「Transformer八子」之一LlionJones，坐在了Kaiser的对立面。。 话题就一个：下一代AI架构到底长什么样。 现场坐满研究者、创业者和投资人。输赢不靠投票，靠「clapometer」——拍手计分器，谁掌声响谁赢。 这是一场刀刀见红、指名道姓的硬碰硬。 当裁判宣布比赛开始，统治了全球AI架构近十年的神话，第一次被它的缔造者亲自拉上了被告席进行自卫辩护。 这场思想界的重量级对决，从Transformer的五大死穴开始。 苦Transformer久矣 五大死穴 Łukasz Kaiser的身份让这场辩论的分量直接拉满。 他是Transformer的联合发明人。 2017年那篇改变整个AI格局的论文「Attention Is All You Need」，他是作者之一。之后他参与了ChatGPT、GPT系列和o1的实际工程开发。 他是当事人。他今天坐在这里，是为自己的作品做辩护。 对面的三位挑战者，来头同样不小。 Llion Jones，Transformer的另一位联合发明人，Sakana AI联合创始人。 Adrian Kosowski，Pathway首席科学官，BDH架构的发明人。 Matthias Lechner，Liquid AI首席技术官，MIT液态神经网络的共同发明人。 这本身就是技术史上极其罕见的画面。创造同一个东西的人，对它的未来产生了根本性分歧。