DeepSeek 10 月 20 日在 GitHub 上开源了内部使用的大规模推理框架 DeepInfer，许可证为 Apache 2.0。仓库首页写明，这是一个面向 DeepSeek 模型的高性能推理框架，开源版本提供离线推理和大规模服务所需的核心功能，目前支持的模型只有一个：DeepSeek-V4.1-Flash。
公开报道还提到，DeepSeek 同步开源了一个名为 deepseek-recipe 的 Token 编解码组件，并称基于这套框架，V4.1 Flash 的单一集群吞吐达到每天 155 万亿 Tokens。这个吞吐数字出自公司自己的说法，仓库 README 里的性能部分只放了吞吐与延迟的曲线图，没有给出具体数值，第三方复测目前也还没有。
仓库里有什么
README 列出的能力大致分四块。
第一块是内核与运行时，集成了 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，再加上一批用 TileLang 写的自定义内核。前面几个名字，DeepSeek 在去年的开源周和此后的几次发布里陆续放出过，这次等于把它们装进一个能直接起服务的壳。
第二块是并行策略：注意力部分用数据并行加均衡的上下文并行，MoE 部分用专家并行配合负载均衡（EPLB）。
第三块是推测解码，接的是 DeepSeek 6 月底和北大一起开源的 DSpark，再加一套按置信度调度的验证机制，默认草稿长度为 5。
第四块是一些工程细节：CPU 端的批调度和设备执行重叠，默认开启；滑动窗口注意力只重放有界后缀，省掉一部分预填充计算；结构化输出支持正则、JSON Schema 和 EBNF 语法约束。
测试环境写得很具体：预填充用 4 块 SM100 GPU，解码用 64 块，都在同一个 scale-up 域里，复现脚本也一起放了出来。
两套硬件，能力不对等
硬件支持列了两项：英伟达 SM100 系列 GPU，以及华为昇腾 950 NPU。环境要求分别是 CUDA 13 和 CANN 9.2，编译器要 GCC 13 以上，Python 3.12。
不过有两项能力标注了”仅 NVIDIA”：一是批次不变推理，同一条请求不管和哪些请求拼在一个批次里，输出都保持一致；二是确定性采样，同样的输入和采样参数给出同样的结果。这两项对做评测、做回归测试的团队很实用，现在只能在英伟达卡上拿到。
README 也老实写了缺的部分：KV Cache 系统、视觉编码与预填充、解码三段分离，以及数据并行副本之间的负载均衡，都不在这个版本里。仓库称分离部署所需的引擎功能大部分已经实现，但要搭一套跟 DeepSeek 线上一样的服务，使用者还得自己补这几层。
把几次开源连起来看
DeepSeek 在基础设施上的开源是一块一块往外拿的。去年 4 月，它在 open-infra-index 仓库里发过一份说明，称不会直接开源内部推理引擎的完整代码，打算把设计改进和能独立使用的组件贡献给社区，比如 vLLM 这类现成项目。
之后的节奏基本照这个思路走：内核库先单独放，6 月底放出推测解码框架 DSpark，9 月在 arXiv 上公开了智能体训练用的沙箱底座 DSec。DeepInfer 是第一次把这些零件拼成一个能独立部署的框架拿出来，跟一年多前”只给组件”的说法相比，口子开大了一截。
对国内用 V4.1 Flash 做私有化部署的公司，这次多了一个官方参照实现；对 vLLM、SGLang 这些社区框架，DeepSeek 的内核优化以后可能更多先进自家框架，再由社区移植。仓库上线当天星标已过三千，后续的问题区和外部基准测试，会比官方曲线图更能说明它在别人机房里跑得怎么样。
参考来源：DeepSeek GitHub 仓库 DeepInfer 的 README（核验支持模型、硬件、仅 NVIDIA 功能、测试卡数与许可证）、CocoLoop、DeepSeek open-infra-index 说明文档；单集群吞吐数字为公司口径，未经第三方复测。