DeepSeek开源推理引擎DeepInfer，单集群日处理约155万亿Token

DeepSeek在GitHub开源大项目DeepInfer，这是DeepSeek-V4.1-Flash背后的推理引擎，包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等核心技术。DeepSeek披露，单个集群每天需处理约155万亿个Token。

如此庞大的流量下，GPU每轮计算浪费一点资源，累积起来都相当可观。已放出的代码中有一套Zero-Overhead Batch Scheduler异步调度机制，解决GPU完成计算后仍需等待CPU整理上一轮结果、更新请求状态再安排下一轮工作的问题。目前开放的是离线推理能力，线上KV Cache存储和跨副本负载均衡等组件尚未完整公开。