Amazon SageMaker AI 上的 MoE 内核工程优化解析

AWS 团队分享了针对融合 MoE 模型的内核工程优化，包括利用 Swap-AB 在 NVIDIA Hopper 架构上满足 WGMMA 指令 M≥64 的形状要求，在 H200 上带来 2–4% 的端到端吞吐提升，并已上游合入 vLLM 0.24.0 及以上版本。