AWS Machine Learning Blog· Sunita Nadampalli·· 17 天前AI 评分49
vLLM 推出基于 push 的 KV 传输，优化分离式推理的 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 的 NIXL connector 中引入 push-based KV 传输，将预填充后的传输协调与准备移出关键路径，降低分离式推理的 TTFT 和 TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com