📍 真實場景
在小公司當後端工程師的小綠，老闆要她評估自架大模型服務
她把開源模型放上 GPU 伺服器，跑起來後發現回答很慢，而且同一個問題問兩次，答案還會不太一樣
😖 卡住的地方：她不知道「慢」和「不穩定」是哪裡出問題，也不知道正式的線上服務是怎麼處理這兩件事的
💡 讀完你會知道 DeepSeek 用什麼方法解決這兩個問題，也知道今天可以去哪裡、先看哪幾個地方
⚡ 一句話講清楚
DeepSeek 把自家線上服務實際在用的 推論引擎負責「載入已訓練好的模型、接收問題、一個字一個字算出答案」的程式，和「訓練模型」是不同的工作開源了，名字叫 DeepInfer。這次釋出的版本只支援 DeepSeek-V4.1-Flash 這一個模型，功能是「離線推論」，也就是自己手動送資料進去跑。官方也寫得很清楚：要搭成完整的線上服務，還缺少 KV cache 系統、預填與解碼分離、以及多個副本之間的負載平衡，這些都沒有包含在這次釋出裡。
它有兩件事特別值得新手認識。第一是「快」：例如用 草稿 token先用便宜的方式猜出接下來幾個字，再讓大模型一次檢查猜得對不對，猜對就省下逐字計算的時間加速解碼，並用信心分數決定何時驗證；另外還有「非同步排程」，讓 CPU 排下一批工作和 GPU 計算同時進行，不讓 GPU 閒著，這項預設就是開啟的。第二是「穩」：批次不變性不論你的問題和別人的問題被湊成怎樣的一批一起算，你得到的結果都完全相同，再搭配固定隨機種子的「確定性取樣」，就能讓同樣的輸入得到同樣的輸出。
另外還有「結構化輸出」，可以限制模型只能產生符合某個 regex、JSON schema 或 EBNF 文法的內容。這對想把模型接進程式的人很實用，因為輸出的格式會是固定的。要注意的是：目前硬體只支援 NVIDIA SM100 GPU 與華為 Ascend 950 NPU，環境需要 Linux、GCC 13 以上、Python 3.12 和 CUDA 13。一般筆電或 Windows 電腦不能直接跑它，但原始碼和說明文件很適合拿來學習。
🏃 快速上手三步（今天就能做）
1
先查：你的環境跑不跑得起來打開 github.com/deepseek-ai/DeepInfer，直接看 README 的「Supported hardware」和環境需求。逐項對照：是不是 NVIDIA SM100 GPU 或 Ascend 950 NPU、是不是 Linux、有沒有 CUDA 13 與 Python 3.12。只要有一項不符（例如你的是一般 Windows 電腦），就不用嘗試安裝，改走下面兩步，把它當教材讀。
▼
2
再試：用讀的方式，把四個開關和對應的環境變數配起來在 README 的 Feature details 找到這四組設定：DEEPINFER_ENABLE_MTP_VARLEN=1（草稿 token 加速，草稿最長長度由 DEEPINFER_USE_NEXTN_DECODE 控制，預設 5）、DEEPINFER_BATCH_INVARIANT=1（批次不變性）、固定 seq_seed 並設 DEEPINFER_ENABLE_MTP_VARLEN=0（確定性取樣）、so_args（結構化輸出）。拿一張紙寫下「這個開關解決什麼問題、要付出什麼代價」，之後遇到類似需求就能對照使用。如果你有符合條件的機器，再依 README 執行 build.sh 與 examples/offline_inference.py。
▼
3
最後注意：別把它當成可以直接上線的服務這次釋出是離線推論，官方明說完整服務還缺 KV cache 系統、預填／解碼分離和負載平衡。另外「批次不變性」與「確定性取樣」目前只標示支援 NVIDIA。如果你是要評估自架服務，請把這些缺口列進成本與工時估算，不要只看到「DeepSeek 生產用」就以為可以直接套用。
🧠 工程思維透鏡（資深工程師看到的是什麼）
🔭 確定性輸出和高速度，能同時要到嗎？
從文件看，兩者是要取捨的。要得到可重現的結果，需要開 DEEPINFER_BATCH_INVARIANT=1，並且把 DEEPINFER_ENABLE_MTP_VARLEN 設為 0，也就是關掉草稿 token 加速。這代表在測試、除錯和評測等需要重現結果的場合，你可能得犧牲一部分速度。實務上可以考慮分成兩種模式：線上服務追求速度，評測和除錯環境則開確定性。這個取捨的實際成本，官方文件沒有給數字，需要自己量測。
🔭 開源了「引擎」，為什麼不等於開源了「整套服務」？
這次釋出只含推論核心，缺少的是 KV cache 系統、預填／解碼分離，以及預填和解碼兩邊的負載平衡，而這些正是大規模線上服務的關鍵。對團隊的影響是：你拿到的是可以學習和驗證的核心，但要上線仍得自己補齊周邊系統，或搭配其他方案。另外它綁定特定硬體與單一模型，意味著短期內較適合研究和技術驗證，是否適合當成生產架構的基礎，要看你的硬體與模型選擇是否剛好符合。