摘要
2024 年，Rosmine 选择辞去了在 FAANG 的工作，开始成为一名独立研究员。 为了开展研究，他自己搭建了一台名为 “grumbl” 的服务器，配备了 6 张 6000 Ada GPU。 这篇文章记录了这台服务器的搭建过程、遇到的问题，同时解答一个核心问题：自己搭建服务器，还是租用云 GPU 更划算？ Rosmine 解释称，这个服务器之所以叫“grumbl”，是因为他总是拼不对“GPUs”这个单词。 把 GPU 当作一种投资 Rosmine 透露，这台设备总共花费他 4.8 万美元，听起来价格不菲，但远低于辞职带来的收入损失。 对他而言，只要更强大的 GPU 能让他的研究工作比使用小型机器时提前两个月取得成果，那么购买更强的服务器就是值得的。 因此，他最终决定：在自己公寓供电和环境条件允许的范围内，直接买一台性能最强的服务器。 GPU 的选择 Rosmine 参考了另一位研究员 Tim Dettmers 的 GPU 选型指南，综合考量之下，把 GPU 候选范围缩小到了 A100、H100 和 RTX 6000 Ada。 不过，由于 A100 不支持 FP8，而且推理性能也比新一代 GPU 更慢，而 Rosmine 表示，自己接下来会进行大量推理任务（强化学习 / RL），所以最终只剩下 RTX 6000 Ada 和 H100 两个选择。 在比较了 6000 Ada、H100 和 A100 的价格 / 吞吐比之后，他最终选择了 RTX 6000 Ada。 电力限制 因为 Rosmine 住在公寓里，没有条件升级电路去支持标准的数据中心服务器。 6 张 GPU 的功耗，已经超出了普通公寓单路电路所能承受的范围，所以他不得不使用两台电源，并且把它们分别接到两个不同回路的插座上。 然而，如果你去 Google 搜索“把一台 PC 接到多个插座”，你会看到大量警告，仿佛只要考虑这种方案，人立刻就会原地爆炸。 因此，为了规避潜在风险，Rosmine 专门聘请了一位专业的 PC 装机工程师，以确保整套系统在电力与硬件层面都是安全可靠的。虽然这比完全自行组装的成本更高，但相比因操作失误而引发严重事故（例如损坏设备甚至危及居住环境），这一投入显然更为稳妥。