为什么黑灯软件工厂会失败 文章

我经营着一家叫作 HumanLayer 的公司，致力于研发人类与智能体协作的工具。因此，我下面要说的内容可能会带点主观色彩。不过，即便如此，我还是希望你能觉得这个话题对你有所帮助，或者至少和我一样对它感兴趣。我猜我们都在循环工程的路上了我们都在争先恐后地将 AI 编码投入生产。关于循环工程（Loop Engineering），人们已讨论了很多，目前普遍的看法是：我们或许应该多构建一些循环流程。StrongDM 曾撰文介绍他们的“黑灯”软件工厂：在那里，没有人阅读代码，也没有人编写代码。大致的说法是这样的：你就是瓶颈。模型已经足够好。代码是免费的。抓紧交付就好。OpenAI 的 Ryan Lopopolo 曾在 2 月份撰文探讨了这一话题，并于 4 月份就 OpenAI 的软件工厂项目 Symphony 发表了演讲。这些人个个都聪明绝顶，我由衷地敬佩他们。但若从最刻薄的角度解读，这不过又是一种说辞，好让风险投资家们往这个烂摊子里再砸钱。它正在……我们的朋友 Mario 在 AI 工程师欧洲大会上登台呼吁大家放缓脚步——因为那些本不该因编码智能体失误而出现故障的公司，偏偏因为编码智能体的失误遭遇故障。正如 Matt Pocock 所言，代码库崩坏的速度达到了前所未有的水平。我没能找到 StrongDM 针对这套黑灯工厂项目进展发布任何确切的数据与结论。他们的项目气象报告从今年 2 月份到 6 月份仅有零星更新。不过，7 月 23 日团队在 Hacker News 参与了讨论，听上去我们很快有望看到一份更为正式的进展通报！Faros AI 团队发布了一份报告：自今年一二月份大家陆续用上各类 AI 编码工具以来，PR 的评审质量大幅下滑。评审留言变多、篇幅变长，还有大量 PR 在没有评审的情况下就被合并。线上故障数量大幅上升。每位开发人员的缺陷数量也显著增加。这份报告更像是一种相关性信号，而不是确凿的铁证。这篇文章的核心目的在于提醒大家警惕垃圾数据，不过结合我自身观察来看，报告反映的趋势还是可靠的。“是你使用方式不对”（事实并非如此）很多人会跟你说，问题出在使用者技能不足——如果你没能获得理想的效果，那是你自己的问题。但无论你选择怎样去用它，我敢肯定一定会有人对你说：如果极致消耗词元这条路行不通，那就是你的技能问题。你只需要消耗更多词元，不要再纠结于读懂代码了。