DeepSeek开源推理框架：单集群日吞吐155万亿Token，KVCache可存7天

DeepSeek开源最新推理框架，披露了面向大规模推理服务的关键指标：单集群日吞吐量达155万亿Token，KVCache可保存7天。这一组合指向推理基础设施中两个核心成本项——吞吐效率与缓存复用。

在大模型服务规模持续扩张的背景下，推理框架的调度与缓存策略直接决定单位算力的产出。KVCache长时间保存意味着多轮请求与重复上下文可减少重算，而单集群日吞吐数据则反映框架在集群层面的聚合能力。该框架以开源形式发布，可供团队在自有算力环境中部署验证。