摘要
2026年最重要的人事变动之一，莫过于安德鲁·卡帕西（Andrej Karpathy）去了Anthropic。 就在2025年5月19日晚，卡帕西发了一条X，称他现已入职Anthropic，重新投身研发工作。 卡帕西是OpenAI的联合创始人之一，也曾领导特斯拉的自动驾驶团队。 这个消息之所以炸裂，不单单是说卡帕西的身份显赫，关键是他加入Anthropic的时机。 Anthropic计划在2026年下半年上市，现在正是需要行业顶级人才背书的时刻。 而卡帕西，刚好就是这么一个行业支柱，绝对的灯塔级人物。 他的加入，势必会让Anthropic如虎添翼。 不光是如此，卡帕西在Anthropic干的活也是非常有意思，他要让Claude自己来研究自己，自己去提升自己。 卡帕西加入Anthropic做什么？ 卡帕西加入的是Anthropic的预训练团队，但他干的可不是一般预训练的活儿。 Anthropic预训练负责人尼古拉斯·约瑟夫（Nicholas “Nick” Joseph）转了卡帕西加入的这条X，并写到，卡帕西将组建一支团队，专注于使用Claude大模型，来推进预训练相关研究工作。 预训练的本质是让大模型对事物有基础的认知，就像咱们口中的常识一样，下雨要打伞、出门带钥匙。 后面的微调、RLHF、安全对齐、产品化，都建立在这个底座之上。 而卡帕西要做的，是让模型参与到预训练这个过程中，让AI研究AI自己。 这里可能有点绕，我尽量把它解释清楚。预训练是一个阶段，而在这个阶段里，模型需要进行多次大规模训练。 第一次大规模训练的时候，团队可能尝试某个架构和数据配比，然后根据训练的结果发现其中的问题，调整第二次大规模训练方案，然后再优化、再训练，一直往复。 研究团队在这个过程中需要做无数个决策，比如用什么数据、怎么清洗、怎么配比、用什么架构、怎么调超参数、训练过程中出问题了怎么办等等。 一个模型跑了几周的大规模训练，结果发现一开始的方向错了，那这几周的算力和时间就全部浪费了。 所以如果能在训练前，通过AI的辅助研究，排除掉一部分错误的方向，那么模型的训练效率就会更高。 那为什么这事得卡帕西来呢？ 其实是因为卡帕西的身份很特殊，他的经历囊括研究员、工程师和产品经理三大板块。 他在OpenA
摘要可能不完整，可查看原文