AI INSIGHT

DeepSeek 开源内部推理框架 DeepInfer，要把大模型服务的成本打下来

AI新闻太平洋科技 2026-10-20 19:00

AI 摘要

DeepSeek于10月20日宣布开源其内部推理框架DeepInfer，该框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为?N腾平台。同时，DeepSeek还开源了deepseek-recipe编解码组件，该组件与DeepSeek官方API的处理逻辑对齐。基于DeepInfer，DeepSe

DeepSeek于10月20日宣布开源其内部推理框架DeepInfer，该框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为?N腾平台。同时，DeepSeek还开源了deepseek-recipe编解码组件，该组件与DeepSeek官方API的处理逻辑对齐。基于DeepInfer，DeepSeek已成功运行DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。