摘要
在AI推理芯片市场上，NVIDIA H100几乎成了默认选项，但AMD的Instinct MI300X一直是一个被低估的替代方案。近日，技术博客Doubleword的作者记录了一次将DeepSeek-V4-Flash模型部署到AMD MI300X加速器上的完整过程，展示了在非主流硬件上运行大模型的真实挑战与收获。 这场部署的背景，是DeepSeek模型系列在开源社区持续升温。DeepSeek-V4-Flash以其优异的推理效率受到关注，而AMD MI300X则是AMD面向数据中心推出的旗舰加速器，采用CDNA 3架构、192GB HBM3内存理论上能够支撑大模型的本地部署。然而，软件生态的差距让这条路注定不平坦。 FP8精度：一场"方言"不通的麻烦 部署过程中的第一个拦路虎是FP8量化精度问题。FP8作为近年兴起的低精度格式，能够显著降低显存占用和提升推理速度，但不同硬件厂商对FP8的具体实现存在分歧。NVIDIA和AMD采用了不同的FP8子标准——NVIDIA使用OCP（Open Compute Project）定义的FP8格式，而AMD MI300X则使用fnuz格式。这两种格式在数值表示范围和精度上存在差异，直接导致模型权重解读出现系统性偏差。作者花了大量时间在精度校准上，最终才让数值误差降到可接受范围内。 内核库缺失：CDNA 3架构的"注意"困境 第二个挑战来自AITER内核库在AMD CDNA 3架构上的适配问题。AITER是一个为Transformer模型优化的计算库，包含了高效的注意力机制快速路径实现。然而在MI300X上，由于底层架构实现的细节差异，快速路径的触发条件未能被正确满足，导致注意力计算回退到了更慢的通用实现。这一问题直接影响了大模型推理的吞吐能力，是整篇文章中最具技术深度的发现。 Triton并发：被忽视的边界条件 此外，HIP图优化中的张量形状问题、MoE（Mixture of Experts）路由层的bug以及Triton内核在并发场景下的边界条件处理，都成为部署过程中需要逐个攻克的难题。Triton是AMD为GPU计算设计的编程语言，与NVIDIA的CUDA生态类似，但在工具链成熟度上仍有差距。 最终成绩：约8.6%的性能提升…
摘要可能不完整，可查看原文