跳到正文
量子位· 思邈·· 16 天前AI 评分38

首Token延迟降低32.4%!是石科技发布TokenFleet调度框架,优化集群推理有效产出

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

AI 导读

是石科技在2026 CCF全国高性能计算学术大会期间发布TokenFleet分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。其TokenPilot路由在GLM5.3调优数据中使P95首Token延迟降低32.4%、P50降低71.3%;SLOMax流控协同调度使达标输出吞吐提高约29.4%,达标比例从约67%升至约86%。

来源:量子位 · qbitai.com