darthracer 发表于 2024-5-22 23:55

AI云计算创业公司TensorWave,押注AMD



专业云计算服务供应商正在兴起,其中一些如CoreWeave、Lambda、Voltage Park等已使用数万个Nvidia GPU构建自己的云计算基础设施,但有些参与者转向使用AMD。

其中一个例子是Bit Barn创业公司TensorWave,联合创始人Jeff Tatarchuk认为AMD最新加速器具许多优良品质,该公司本月早些时候开始部署由AMD Instinct MI300X驱动的系统,今年底目标在2个设施部署20,000个MI300X加速器,并计划明年上线更多液冷系统。

此外,Jeff Tatarchuk指出AMD最新AI芯片比Nvidia令人垂涎的H100芯片更快, “仅就原始规格而言,MI300X优于H100。”

MI300X于去年底Advancing AI活动推出,这款750W芯片采用先进封装组合,将12个小芯片(若算上HBM3模块则为20个)拼凑成一个GPU,据称比Nvidia的H100快32%。

除了浮点运算更高,MI300X芯片还拥有更大的192GB HBM3内存,能提供5.3TB/s带宽,H100带宽为80GB和3.35TB/s,而内存带宽越高,AI性能也越好,尤其是大型语言模型推理方面。

不过Tatarchuk也表示,客户对AMD性能的信心还未高于Nvidia,不确定是否能享受到相同性能。
页: [1]
查看完整版本: AI云计算创业公司TensorWave,押注AMD