ROCm

我在海光 DCU 上修改 vLLM kernel 时，最浪费时间的一次并不是编译报错。 那次编译正常结束，服务能够启动，接口也能返回结果，性能测试甚至给出了一个看起来可以解释的变化。后来重新核对运行环境，我才发现一个更麻烦的问题：源码、构建产物和服务实际加载的文件并不是同一套状态。此前围绕性能做出的判断，只能全部作废。 这件事改变了我的调试顺序。现在每次改完 ROCm kernel，我不会立刻看吞吐，而是先回答一个更基础的问题： 正在海光 DCU 上执行的，究竟是不是我刚刚修改、编译并准备测试的那份代码？ 本文记录的是我在 gfx936 架构海光 DCU 上实际使用过的一套 vLLM...