日处理155万亿Token，单集群日收入2200万美元

DeepSeek选择在PyTorch大会首日发布DeepInfer，时机颇具战略意味。这一开源推理框架是其内部生产栈的核心，长期支撑着DeepSeek-V4.1-Flash的大规模对外服务。与此同时，DeepSeek还发布了详细的工程报告，披露了大量生产运营数据，使得这份技术文档的价值不亚于代码本身。框架以Apache 2.0协议发布，并附有完整的研究指南、代码地图与子系统说明。

DeepInfer在架构层面将视觉编码、预填充（Prefill）与解码（Decode）三个阶段彻底分离，允许每个阶段独立扩展以应对各自的性能瓶颈。推荐的部署形态为：预填充阶段使用普通的8卡机器，解码阶段则采用64至128卡的超节点。解码环节通过宽专家并行分发MoE专家权重，同时维持较大的有效批次规模。调度器以估算的注意力计算量而非原始请求长度来分配工作，块大小随时间预算动态调整，而非对所有请求强制使用固定块大小。

该框架一个尤为值得关注的设计是预填充阶段无需缓存亲和性路由。由于缓存前缀统一存储在共享存储池中，新请求可以被分配给任意空闲工作节点，而无需路由至此前处理过相同前缀的节点。这一设计显著提升了预填充阶段的负载均衡效率，是DeepSeek在生产环境中实现高吞吐的重要工程细节之一，也是其区别于传统推理服务架构的关键所在。

DeepSeek披露的经济数据引发了业界广泛讨论。以每日155万亿Token的吞吐量、当前每百万输入/输出Token 0.15/0.60美元的定价折算，单集群日收入约达2200万美元，综合硬件成本后利润率超过80%，集群回本周期仅需81天。按每吉瓦算力折算，推理收益约为1660亿美元。不过，这些数据高度依赖96%的输入缓存命中率，实际工作负载结构、缓存计算方式及硬件成本口径的差异均会对最终利润率产生显著影响。

vLLM团队对此次发布作出了最为具体的回应。在确认DeepInfer最初主要基于vLLM构建后，vLLM团队表示，在GB200平台的对等配置下，其解码吞吐量与DeepInfer公布数据的差距在6%以内，并同步发布了AgentX基准测试结果与复现方案。这在一定程度上表明，DeepSeek的推理效率并非完全不可复现。与此同时，DeepInfer支持长达72小时的提示词缓存，远超OpenAI近期宣布的12小时上限，进一步凸显了其在长上下文服务场景下的竞争优势。

需要指出的是，DeepSeek所称的「完全开源」并不意味着整套生产服务可以从这次发布中完整复现。KV缓存管理与负载均衡等核心组件因与内部基础设施深度耦合，目前尚未完全对外开放。推理引擎本身已经开源，但服务级别的编排能力仍需使用者自行承担部署责任。DeepSeek表示，未来的模型推理实现与优化成果也将持续在该仓库中发布。

要点

• DeepInfer单集群日处理155万亿Token，综合推理利润率超80%，硬件回本周期仅81天，但上述数据高度依赖96%的输入缓存命中率，并非独立审计结果
• 框架将预填充与解码阶段彻底分离，并引入基于计算量估算的动态调度与无缓存亲和性路由，是其实现高吞吐的核心工程设计
• vLLM在对等配置下解码吞吐量与DeepInfer差距仅6%，表明DeepSeek的推理效率并非不可复现，开源社区已具备接近水平的能力
• KV缓存管理与负载均衡等关键组件尚未完全开放，整套生产服务暂不可从此次发布中完整复现
• DeepInfer支持长达72小时的提示词缓存，远超OpenAI近期宣布的12小时上限，在长上下文服务场景具备明显优势