从vllm的rocm 适配来看AMD gpu的 支持情况

 

从vllm的rocm 适配来看AMD gpu的 支持情况

vllm 的 setup.py 中支持的RCOM structure 有:

# Supported NVIDIA GPU architectures.
NVIDIA_SUPPORTED_ARCHS = {"7.0", "7.5", "8.0", "8.6", "8.9", "9.0"}
ROCM_SUPPORTED_ARCHS = {"gfx90a", "gfx908", "gfx906", "gfx1030", "gfx1100"}
# SUPPORTED_ARCHS = NVIDIA_SUPPORTED_ARCHS.union(ROCM_SUPPORTED_ARCHS)

支持的架构有:

gfx90a: cDNA2 MI200

买不到/未全面发售

gfx908: cDNA1 MI100

32G 显存

gfx906: GCN 5.0 Radeon VII / Radeon Pro VII

2019年上市,GCN 末代,HBM2显存,16g显存,老矿工,1000多就可以买到,计算能力和寿命存疑

gfx1030:RNA 2 RX 6900/6800 . 系列

RX6800: 16G显存,60个计算单元 面向游戏

6800XT:16G显存 72个计算单元 面向4K游戏

6900XT:16G显存 80个计算单元 面向4K游戏

注: gfx1032 架构的 6600 卡通过覆盖 成gfx1030 可以支持大部分ROCM?

https://zhuanlan.zhihu.com/p/566112395

待验证

gfx1100:RNA 3 Radeon RX 7900

20G 显存

参考

https://www.eddiba.com/amd-rdna-3-navi-31-gfx1100%E3%80%81navi-32-gfx1102%E3%80%81navi-33-gfx1101-%E7%A6%BB%E6%95%A3%E6%98%BE%E7%A4%BA%E6%A0%B8%E5%BF%83-next-3-2-gpu%E3%80%81apu-%E8%8E%B7%E5%BE%97-dcn-3-1-4/、