| DeepSeek 宣布开源其内部推理框架 DeepInfer，以及生产级 Token 编解码组件 deepseek-recipe。DeepInfer 支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等特性，兼容英伟达与华为?N腾平台。DeepSeek 已基于 DeepInfer 跑通 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。相关代码已托管于 GitHub 的 deepseek-ai/DeepInfer 与 deepseek-ai/deepseek-recipe。 |
AI INSIGHT
DeepSeek 再掀开源浪潮：内部推理框架 DeepInfer 全面公开，剑指"大模型普惠"
AI 摘要
DeepSeek 宣布开源其内部推理框架 DeepInfer，以及生产级 Token 编解码组件 deepseek-recipe。DeepInfer 支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等特性，兼容英伟达与华为?N腾平台。DeepSeek 已基于 DeepInfer 跑通 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。