📍 真實場景
一位在小公司工作、只有一台 32GB 記憶體筆電的後端工程師
想在本機跑 80B 等級的開源模型來看公司內部程式碼，但模型檔案 48GB 比記憶體還大，載入就失敗
😖 卡住的地方：買不起大顯卡或雲端 GPU，只能退而求其次用小模型，品質差一截
💡 讀完你會知道這個新引擎為什麼能讓「比記憶體還大」的模型在一般筆電上跑起來，以及今天可以怎麼驗證它在你的機器上有沒有用
⚡ 一句話講清楚
Janas 是一個新的本機推論引擎（推論引擎負責把訓練好的模型實際跑起來、一個字一個字產生答案的程式，類似播放器之於影片檔），目標是讓你在記憶體不夠大的電腦上，也能跑超過記憶體容量的大模型。作者在 GitHub 公開，並在 Hacker News 拿到 213 分、84 則留言的關注。
它用的核心手法利用了 MoE（MoE 混合專家模型把模型切成很多個「專家」小區塊，每次回答只叫出其中少數幾個來工作，所以模型很大但每次只用到一小部分）的特性：既然每個字只會用到少數專家，就沒必要把全部專家都塞進記憶體。Janas 把專家的權重（權重模型學到的數字參數，等於模型的「知識」本體，決定檔案大小）放在 SSD 上，需要哪個才讀進來，不需要的就留在硬碟。
作者的實測是在一台 32GB 記憶體、Intel Core Ultra 9 185H 內顯、NVMe SSD 的筆電上：48.4GB 的 Qwen3-Next-80B-A3B，寫字速度約 24 tok/s（tok/s每秒產生幾個 token；token 是模型處理文字的最小單位，約等於半個到一個詞，數字越大越順），同機器上 llama.cpp 只有 2.8 tok/s；讀入 1,024 token 的提示則是 62 對 16。在較小、塞得進記憶體的模型上也大多領先，但差距小很多，例如 Qwen3-30B-A3B 讀提示 135 對 122。要注意：這些是作者自己在單一台機器上量的數字，作者也說換一台機器結果會不同。
🏃 快速上手三步（今天就能做）
1
先確認你的機器對不對目前提供的預編譯版本是 Linux x86-64（Ubuntu 22.04、Debian 12 以上）。如果你用 Windows，素材沒有提到支援，先別花時間硬裝，可以到 github.com/prabanta-dev/janas 的 Releases 與 README 查有沒有 Windows 版或 WSL 說明。另外確認你用的是 SSD（NVMe 最好），機械硬碟會讓這個做法失去意義。
▼
2
下載並跑它自帶的對照測試在 Linux 上執行：curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz，再 tar xf janas-linux-x86_64.tar.gz && cd janas，然後 ./janas-chat 選一個它列出的模型。要比較速度就用作者提供的 janas-bench 在自己機器上量，同時用 llama.cpp 的 llama-bench 量同一個模型，兩邊的 tok/s 放在一起看，不要只信文章上的數字。
▼
3
用「寫字速度」而不是「讀提示速度」判斷值不值得對話體感主要看寫字（生成）速度：作者表中 80B 模型約 24 tok/s 算順暢，個位數就會明顯卡頓。也注意兩個但書：一是作者自己指出 3-bit 的 Qwen3-30B 讀提示反而比 llama.cpp 慢；二是 37 tok/s 那個數字帶了 drafts（推測式解碼的草稿），不加的是 24。你的任務若是長文件摘要（重讀提示多），就更要看讀提示那一欄。
🧠 工程思維透鏡（資深工程師看到的是什麼）
🔭 為什麼 MoE 模型特別適合「從 SSD 串流」，稠密模型就不行？
MoE 每個字只啟用少數專家（例如 80B 總參數、約 3B 啟用），所以每步只需從 SSD 讀一小部分，頻寬壓力可承受。稠密模型每個字都要用到全部權重，SSD 頻寬會直接成為瓶頸。從素材也看得到：稠密的 Qwen3.8-27B（17.6GB，本來就塞得進記憶體）寫字只有 4.4 對 2.1 tok/s，優勢遠不如 MoE 巨模型明顯。這個技巧的價值集中在「超大 MoE、記憶體不夠」這個窄場景。
🔭 這份基準測試能直接拿來做採購或選型決策嗎？
不太能。數字來自作者單一台筆電（內顯 Arc GPU、32GB、NVMe）、單一日期區間，且 Janas 與 llama.cpp 是在不同日期各自量測（例如 Qwen3.8-27B 兩邊差一天）；作者自己也說在別台機器數字會不同。SSD 型號、散熱、量化格式（Q4_K_M、3-bit 等）都會大幅影響結果。合理做法是把它當成「值得實測的線索」：在你的硬體與你實際要用的模型上自己跑 benchmark，再決定要不要換引擎；另外 SSD 被頻繁大量讀取的長期耐用度，素材沒有討論，上線前也該留意。