跳到正文
热点事件历史事件

DeepSeek 开源推理框架 DeepInfer,昇腾与英伟达同列支持

8 篇报道6 个报道来源7 天前更新

先了解这件事

AI 综述

DeepSeek 于 10 月 20 日以 Apache License 2.0 开源自研推理框架 DeepInfer,即支撑 DeepSeek-V4.1-Flash 模型大规模服务的推理引擎。据官方披露,该框架单集群每天可处理约 155 万亿 Token,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术;框架基于 vLLM,同时发布的 deepseek-recipe 可复现官方 API 的 token 处理方式。 硬件支持上,华为昇腾 950 系列 NPU 与英伟达 SM100(Blackwell 架构 GPU)同列支持名单,同一代码树下仅需一个环境变量即可切换两类硬件,改变了国产芯片以往作为靠后补充后端的地位。 不过据钛媒体和雷峰网,目前开放的主要是面向 V4.1-Flash 的离线推理能力,完整生产服务所需的 KV Cache 管理、跨副本负载均衡等组件尚未全部公开;公开的性能基准也主要基于英伟达 GPU。

AI 根据报道生成 · 7 天前更新

事件进展

2 个进展

  1. 10月29日 22:14 · 1 篇报道
    解析 DeepInfer 推理引擎技术
    雷峰网:DeepSeek 开源推理引擎 DeepInfer,深挖 Zero-Overhead Batch Scheduler 技术细节
  2. 10月20日 18:39 · 4 篇报道
    DeepSeek 开源推理框架 DeepInfer
    钛媒体:DeepSeek开源DeepInfer推理框架对等支持华为昇腾与英伟达芯片意味着什么

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. 雷峰网
    DeepSeek 开源推理引擎 DeepInfer,深挖 Zero-Overhead Batch Scheduler 技术细节

    DeepSeek 在 GitHub 开源 DeepInfer 推理引擎,即 DeepSeek-V4.1-Flash 背后的推理系统,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码,官方披露单集群每天处理约 155 万亿 Token。

10月25日
  1. 钛媒体
    数智周报:MiniMax港股破发,DeepSeek开源DeepInfer并披露收入账本,美国土安全部下令禁采DeepSeek

    DeepSeek开源推理框架DeepInfer,披露V4.1 Flash单一集群日吞吐155万亿tokens,整体收入为每卡每小时38美元。

10月21日
  1. Latent Space
    Latent Space AINews:DeepSeek 开源 DeepInfer 推理框架并披露 155T tokens/日集群经济数据

    Latent Space AINews 期内核心事件是 DeepSeek 开源生产推理框架 DeepInfer,支持 NVIDIA SM100 与华为昇腾 950,官方称单集群日服务 155T tokens、96% 输入缓存命中、离峰每卡时收入 $38;KV cache 管理、PD 分离和负载均衡未包含在开源范围内。

  2. 钛媒体
    DeepSeek开源DeepInfer推理框架对等支持华为昇腾与英伟达芯片意味着什么

    DeepSeek于10月20日开源自研推理框架DeepInfer,华为昇腾950系列NPU与英伟达SM100(Blackwell架构GPU)同列支持名单,同一代码树下仅需一个环境变量即可切换两类硬件,改变了国产芯片以往作为次序靠后补充后端的地位。

  3. 新智元
    DeepSeek 全面开源自研推理框架 DeepInfer

    DeepSeek 宣布全面开源自研推理框架 DeepInfer。据摘要,该框架支撑 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模服务,一个集群一天可服务 155 万亿 Token。

  4. 钛媒体
    钛晨报:工信部研究起草新一代智能制造政策推动“AI+制造”,国家数据集团挂牌成立,DeepSeek 全面开源内部推理框架 DeepInfer

    工信部正研究起草新一代智能制造政策措施,从梯度培育智能工厂、发展智能装备、技术攻关和深化国际合作四方面推动“AI+制造”。10 月 20 日,新央企国家数据集团正式挂牌,简勤任董事长、陈荣辉任总经理;同日 DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,已基于其实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。

  5. The Decoder
    DeepSeek 开源推理框架 DeepInfer,采用 Apache License 2.0

    DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,用于支撑 V4.1-Flash 模型的高速推理。该框架基于 vLLM,包含优化计算内核、多芯片分布式处理和更快的文本生成技术,未来模型代码也将开源;同时发布 deepseek-recipe,可复现官方 API 的 token 处理方式,让自托管部署行为一致。

10月20日
  1. 开源中国
    DeepSeek 开源推理框架 DeepInfer

    DeepSeek 开源其推理框架 DeepInfer,此次开源的不是模型而是推理中间层。推理框架负责在海量用户调用时统筹调度算力集群,其效率直接影响 AI 服务的算力成本和电费。

本事件热度走势

可比范围当前
3
可比范围峰值
910月30日 01:00
近 24 小时变化
-50%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。