The Decoder· Matthias Bastian·· 16 天前AI 评分70
DeepSeek 开源推理框架 DeepInfer，采用 Apache License 2.0
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，用于支撑 V4.1-Flash 模型的高速推理。该框架基于 vLLM，包含优化计算内核、多芯片分布式处理和更快的文本生成技术，未来模型代码也将开源；同时发布 deepseek-recipe，可复现官方 API 的 token 处理方式，让自托管部署行为一致。
来源：The Decoder · the-decoder.com