AWS Machine Learning Blog· Ananth Raghavendra·· 24 天前AI 评分44
使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 推出支持多节点部署的 Ray LLM Deep Learning Containers（DLC），可在 Amazon EKS 上将单个 LLM 部署到两个 GPU 节点，并通过单一 OpenAI 兼容端点提供服务。
来源：AWS Machine Learning Blog · aws.amazon.com