DeepSeek 開源推論引擎 DeepInfer
DeepSeek 據報導於 10 月 20 日在 GitHub 公開推論引擎 DeepInfer，程式碼採 Apache License 2.0。首版僅支援離線推論與 DeepSeek-V4.1-Flash 一款模型，硬體為 NVIDIA SM100 GPU 與華為昇騰 950 NPU。官方稱此引擎支撐其線上服務，效能數字為業者自述。
DeepSeek 把自家線上服務使用的推論框架 DeepInfer 放上 GitHub，程式碼採 Apache License 2.0。首版只做離線推論，只支援 DeepSeek-V4.1-Flash 一款模型，執行環境為 NVIDIA SM100 GPU 或華為昇騰 950 NPU。
推論引擎負責在模型訓練完成後把它跑起來、回應請求。DeepInfer 的 README 稱它是支撐 DeepSeek 大規模線上服務的高效能推論框架（業者自述），主要建構在 vLLM 之上，並參考 SGLang 與 TensorRT-LLM 的做法。
功能包含注意力資料平行、MoE 專家平行與負載平衡、推測解碼（預設最多 5 個草稿詞元）、非同步排程，以及用正規表示式、JSON Schema 或 EBNF 文法限制輸出格式。NVIDIA 平台另提供批次不變推論與確定性取樣。
首版未包含 KV 快取系統、預填與解碼分離（prefill/decode disaggregation），也沒有資料平行副本之間的負載平衡。倉庫附有效能測試腳本，吞吐量數字為 DeepSeek 自行量測，據報導尚無第三方重現。
跟你的關係
如果你的團隊自行架設開放權重模型，這是少見由模型開發商公開正式環境推論程式碼的案例，可作調校參考。但首版功能有限，硬體也限於新世代 GPU 與昇騰，短期內多數人仍會沿用 vLLM 等現有工具。
重點
- DeepSeek 公開推論引擎 DeepInfer，Apache 2.0
- 首版僅離線推論，僅支援 DeepSeek-V4.1-Flash 一款模型
- 支援 NVIDIA SM100 GPU 與華為昇騰 950 NPU
- 未含 KV 快取、預填解碼分離與副本負載平衡
- 效能數字為業者自述，尚無第三方重現
來源
本站內文為依上列來源整理的摘要，未另外增加事實；細節請以原文為準。