DeepSeek 开源推理框架 DeepInfer,昇腾与英伟达同列支持
先了解这件事
DeepSeek 于 10 月 20 日以 Apache License 2.0 开源自研推理框架 DeepInfer,即支撑 DeepSeek-V4.1-Flash 模型大规模服务的推理引擎。据官方披露,该框架单集群每天可处理约 155 万亿 Token,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术;框架基于 vLLM,同时发布的 deepseek-recipe 可复现官方 API 的 token 处理方式。 硬件支持上,华为昇腾 950 系列 NPU 与英伟达 SM100(Blackwell 架构 GPU)同列支持名单,同一代码树下仅需一个环境变量即可切换两类硬件,改变了国产芯片以往作为靠后补充后端的地位。 不过据钛媒体和雷峰网,目前开放的主要是面向 V4.1-Flash 的离线推理能力,完整生产服务所需的 KV Cache 管理、跨副本负载均衡等组件尚未全部公开;公开的性能基准也主要基于英伟达 GPU。
AI 根据报道生成 · 7 天前更新
事件进展
2 个进展
- 10月29日 22:14 · 1 篇报道解析 DeepInfer 推理引擎技术雷峰网:DeepSeek 开源推理引擎 DeepInfer,深挖 Zero-Overhead Batch Scheduler 技术细节
- 10月20日 18:39 · 4 篇报道DeepSeek 开源推理框架 DeepInfer钛媒体:DeepSeek开源DeepInfer推理框架对等支持华为昇腾与英伟达芯片意味着什么
报道时间线
沿着报道,了解事件的不同侧面。
- 雷峰网DeepSeek 开源推理引擎 DeepInfer,深挖 Zero-Overhead Batch Scheduler 技术细节
DeepSeek 在 GitHub 开源 DeepInfer 推理引擎,即 DeepSeek-V4.1-Flash 背后的推理系统,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码,官方披露单集群每天处理约 155 万亿 Token。
- 钛媒体数智周报:MiniMax港股破发,DeepSeek开源DeepInfer并披露收入账本,美国土安全部下令禁采DeepSeek
DeepSeek开源推理框架DeepInfer,披露V4.1 Flash单一集群日吞吐155万亿tokens,整体收入为每卡每小时38美元。
- Latent SpaceLatent Space AINews:DeepSeek 开源 DeepInfer 推理框架并披露 155T tokens/日集群经济数据
Latent Space AINews 期内核心事件是 DeepSeek 开源生产推理框架 DeepInfer,支持 NVIDIA SM100 与华为昇腾 950,官方称单集群日服务 155T tokens、96% 输入缓存命中、离峰每卡时收入 $38;KV cache 管理、PD 分离和负载均衡未包含在开源范围内。
- 钛媒体DeepSeek开源DeepInfer推理框架对等支持华为昇腾与英伟达芯片意味着什么
DeepSeek于10月20日开源自研推理框架DeepInfer,华为昇腾950系列NPU与英伟达SM100(Blackwell架构GPU)同列支持名单,同一代码树下仅需一个环境变量即可切换两类硬件,改变了国产芯片以往作为次序靠后补充后端的地位。
- 新智元DeepSeek 全面开源自研推理框架 DeepInfer
DeepSeek 宣布全面开源自研推理框架 DeepInfer。据摘要,该框架支撑 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模服务,一个集群一天可服务 155 万亿 Token。
- 钛媒体钛晨报:工信部研究起草新一代智能制造政策推动“AI+制造”,国家数据集团挂牌成立,DeepSeek 全面开源内部推理框架 DeepInfer
工信部正研究起草新一代智能制造政策措施,从梯度培育智能工厂、发展智能装备、技术攻关和深化国际合作四方面推动“AI+制造”。10 月 20 日,新央企国家数据集团正式挂牌,简勤任董事长、陈荣辉任总经理;同日 DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,已基于其实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
- The DecoderDeepSeek 开源推理框架 DeepInfer,采用 Apache License 2.0
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,用于支撑 V4.1-Flash 模型的高速推理。该框架基于 vLLM,包含优化计算内核、多芯片分布式处理和更快的文本生成技术,未来模型代码也将开源;同时发布 deepseek-recipe,可复现官方 API 的 token 处理方式,让自托管部署行为一致。
- 开源中国DeepSeek 开源推理框架 DeepInfer
DeepSeek 开源其推理框架 DeepInfer,此次开源的不是模型而是推理中间层。推理框架负责在海量用户调用时统筹调度算力集群,其效率直接影响 AI 服务的算力成本和电费。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 910月30日 01:00
- 近 24 小时变化
- -50%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。