跳到正文
NVIDIA Blog· Amr Elmeleegy·· 3 小时前AI 评分28

NVIDIA 全栈协同设计如何化解 AI 的内存挑战

More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

AI 导读

NVIDIA 通过 GPU、CPU、网络、存储与软件的全栈协同设计,提升 AI 工厂中每一字节内存的效用,应对智能体推理带来的 HBM 压力。从 Blackwell Ultra 到 Vera Rubin 平台,每 GPU 的 HBM 容量仅提升约 3%,而 SemiAnalysis AgentX 上每美元智能体吞吐量最高提升 30 倍。

来源:NVIDIA Blog · blogs.nvidia.com