Google发布第六代Trillium TPU，运算性能提升4.7倍

darthracer · 2024-6-21 07:51

Google 10多年前意识到需要一款专门用于机器学习的芯片，因此2013年开始研发制造全球首款专为AI打造的加速器TPU v1（Tensor Processing Unit），并在2017年推出首款Cloud TPU。

在Google I/O 2024开发者大会，Google发布第六代TPU——Trillium，是至今最高性能且最节能的TPU。

与TPU v5e相比，Trillium每一芯片峰值计算性能提升4.7倍，Google将其高带宽内存（High Bandwidth Memory，HBM）容量和带宽提升1倍，芯片间互联网络（Interchip Interconnect，ICI）带宽也提高1倍。此外，Trillium配备第三代SparseCore，这是处理超大嵌体的专用加速器，用于处理高端排名和推荐工作负载。不只如此，Trillium能源效率比TPU v5e高出67%。

Trillium可在单个高带宽、低延迟的Pod扩展多达256个TPU。除了该Pod级别的可扩展性以外，Trillium借助多切片技术（Multislice technology）和Titanium智能处理单元（Intelligence Processing Unit），还能扩展到数百个Pods。

Trillium帮助Google更快训练下一代基础模型，以较短延迟时间和较低成本提供模型服务。

TPU是Google推出许多服务的最大功臣之一，要是少了它，如即时语音搜索、照片对象识别及互动式语言翻译，还有最先进的Gemini、Gemma、Imagen模型等无法顺利问世。

Google发布第六代Trillium TPU，运算性能提升4.7倍

浏览过的版块