雷峰网·· 7 天前AI 评分67
DeepSeek 开源推理引擎 DeepInfer,深挖 Zero-Overhead Batch Scheduler 技术细节
DeepSeek 又一开源重器!深挖 DeepInfer 究竟藏着多少技术狠活?
AI 导读
DeepSeek 在 GitHub 开源 DeepInfer 推理引擎,即 DeepSeek-V4.1-Flash 背后的推理系统,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码,官方披露单集群每天处理约 155 万亿 Token。
来源:雷峰网 · leiphone.com