AI-LECTURER 速報課｜2026-10-30｜約 25 分鐘

Mistral Large 4「Le Chonk」：1 兆參數卻只動用 490 億，開放權重如何讓資安防守者不再被模型拒絕

取材：Welcome Le Chonk: Mistral Large 4 on Hugging Face（Hugging Face Blog）
📍 真實場景
小宇，33 歲，一家 15 人電商公司的唯一一位資安兼後端工程師

凌晨兩點，公司網站疑似被利用某個開源套件的漏洞入侵，他想請 AI 幫忙重現這個漏洞，確認補丁有沒有真的修好

😖 卡住的地方：他把漏洞重現步驟貼給雲端付費 AI，結果 AI 直接回「我不能協助攻擊行為」；更糟的是，事件處理到一半，API 帳號因為內容被判定可疑而被暫時停權，他只能自己手動查
💡 這課會讓你看懂：為什麼 Mistral Large 4 這種『可以下載到自己電腦』的大模型，能讓小宇在事件處理中不被拒絕、不被斷線，以及它『1 兆參數卻只動用 490 億』的聰明省錢設計

🧭 這到底是什麼（白話版）

Mistral Large 4（外號 Le Chonk，意思大概是「圓滾滾的大傢伙」）是法國公司 Mistral 發布的 開放權重模型公司把訓練好的模型『成品檔案』公開讓你下載，你可以放在自己的電腦或伺服器上跑，不必每次都透過別人的網站呼叫。它可以同時看懂文字和圖片，然後輸出文字，也支援多國語言。

它最大的特色是內部結構叫 MoE（混合專家）Mixture-of-Experts，把模型拆成很多個『專科小組』，每次只叫最適合的幾組出來工作，其他組休息。整個模型總共約 1T（一兆）個 參數模型裡面可以調整的數字旋鈕，數量越多通常越聰明，但也越吃記憶體，可是處理每一個字時，只有大約 490 億個參數真的在運作。這就像一間有一千位專家的顧問公司，但每個案子只派最相關的幾位出馬。

另外它的 上下文視窗模型一次可以『記在腦中』讀進去的內容長度，單位是 token 高達 100 萬 token，大約是好幾本厚書的長度，所以你可以一次把整個程式專案、錯誤日誌都丟給它看。文章特別強調它擅長資安、寫程式的 AI 代理人（coding agents）和看圖。

授權方面採用 Mistral Ecosystem Open-Weight License，是 MIT 授權的變體：你可以自己下載使用，但有限制『拿它直接做成對外收費的模型服務』。另外 Unsloth 和 llama.cpp 團隊也做了 GGUF一種把大模型壓縮、包裝成較小檔案的格式，讓一般電腦也比較有機會跑得動 版本。

🎯 為什麼值得你花時間

防守者不再被模型當成壞人要修漏洞，先得『重現』漏洞。這類工作看起來就像攻擊，所以許多封閉式雲端模型會直接拒絕。文中提到 Mistral Large 4 在 Artificial Analysis Cyber Index（要求模型重現真實開源軟體漏洞再修補）拿到 82%，而 Mistral 表示幾個封閉的頂尖模型因為拒絕嘗試，分數接近零。
使用規則與部署掌握在自己手上用雲端 API 的團隊，可能在事件處理到一半就被斷線或停權。開放權重模型放在自己機器上，『能問什麼』和『在哪裡跑』由你決定，不怕關鍵時刻被別人關掉。
可以自己訓練出專屬小模型『重現漏洞再修補』的結果可以自動驗證對錯（補丁有沒有修好，跑一次測試就知道），這種可驗證的獎勵很適合拿來做 強化學習讓 AI 反覆嘗試，做對就給獎勵、做錯就扣分，慢慢學會的訓練方法。社群可以用 TRL 工具，拿 Large 4 修補程式碼的紀錄去訓練更小的資安模型。

⚙️ 它是怎麼運作的

1
輸入：文字加圖片文字直接進模型；圖片先經過 Pixtral 視覺編碼器，被轉成模型看得懂的數字，再跟文字一起處理。
▼
2
稀疏注意力：只回頭看重要的位置一般模型要把前面每個字都回頭看一遍，內容越長越慢。Large 4 有個『注意力索引器』，先挑出前面哪些位置值得看，只看那些。這是第一種『偷懶但聰明』的稀疏。
▼
3
專家路由：每個字只叫幾位專家在前饋網路（負責『思考加工』的那層）裡有一大群專家，模型會替每個字挑出一小組最適合的專家來處理，其他專家休息。這是第二種稀疏，它挑的是『誰來算』，而不是『看哪裡』。
▼
4
輸出：一個字一個字生成文字經過許多層重複的『挑位置看＋挑專家算』後，模型產生下一個字，再接著往下寫，直到答案完成。
兩種『稀疏』的差別（容易搞混！）
比較項目專家路由稀疏（MoE）注意力稀疏（索引器）
挑選的對象前饋網路中的哪幾位『專家』前面哪些『字的位置』
主要省下什麼每個字要動用的運算量（總 1T 只用 49B）超長內容回頭看的成本（支援 1M token）
比喻從 1000 位顧問挑幾位來開會從 1000 頁資料只翻最相關的幾頁

🔍 程式碼漫遊（點有 ● 的行看白話講解）

這段是用 Hugging Face transformers 載入開放權重模型的最小範例概念（實際模型體積巨大，需要多張高階顯示卡；一般人可改用社群的 GGUF 版本搭配 llama.cpp）。重點在『模型檔在你手上』這件事。

●from transformers import AutoTokenizer, AutoModelForCausalLM
💬 匯入兩個工具：一個把文字切成 token，一個負責載入語言模型。
●name = "mistralai/Mistral-Large-4"
💬 模型在 Hugging Face 上的名稱。此為示意，實際名稱請以官方 collection 頁面為準。
●tok = AutoTokenizer.from_pretrained(name)
💬 下載『切字規則』。模型只懂 token（數字），所以進去前一定要先切字。
●model = AutoModelForCausalLM.from_pretrained(name, device_map="auto")
💬 重點行：把權重載入你自己的機器，device_map 會自動把模型分散到可用的顯示卡。從這一行起，模型就在你的控制之下，不經過任何雲端 API。
●prompt = "Reproduce the bug in this log, then write a patch."
💬 小宇會問的資安問題。因為模型在自己手上，使用政策由他決定。
●ids = tok(prompt, return_tensors="pt")
💬 把文字轉成模型吃的數字陣列。
●out = model.generate(**ids, max_new_tokens=512)
💬 讓模型一個 token 一個 token 往下生成最多 512 個。
●print(tok.decode(out[0]))
💬 把數字轉回人看得懂的文字並印出來。

🛠️ 動手做：專家路由模擬器：看 1,000 位專家如何只派 8 位上場

  1. 按「產生一句話」，會出現一串 token（字）。
  2. 每個 token 下方會顯示被選中的專家編號，其他專家都在休息。
  3. 調整「每個字叫幾位專家」滑桿，觀察『實際動用比例』如何變化。
  4. 對照畫面最下方的比例，思考：為什麼總參數 1T，卻只動用約 49B？
👇 下面是活的，直接操作

🧠 工程思維透鏡（資深工程師看到的是什麼）

🔭 為什麼要用 MoE，而不是直接做一個 490 億參數的小模型？
權衡在『知識容量』與『每次運算成本』。總參數 1T 提供龐大的知識儲備（不同專家可學不同領域），但每個字只算 49B，所以推論速度與成本接近一個中型模型。代價是：記憶體仍要放得下全部 1T 參數，所以硬體門檻高；而且路由（選專家）做不好會造成某些專家過勞、某些閒置，需要額外的負載平衡設計。
🔭 開放權重為什麼對資安防守特別關鍵？
資安工作的輸入（惡意程式樣本、漏洞重現）本質上長得像攻擊，雲端模型的安全過濾器容易誤判而拒絕。更重要的是『可用性風險』：事件處理中若 API 被斷線，防守者就失去工具。把權重放在自己手上，就把供應商風險（停權、改政策、漲價）轉成自己可控的部署風險。取捨是你必須自己負責維運與安全使用。
🔭 『拒絕率比其他開放模型都高』這句話透露了什麼設計取捨？
文章指出 Large 4 在 JailbreakBench、StrongREJECT、AgentHarm 的有害資安提示上，平均拒絕率高於其他開放權重模型。這表示它不是『完全不設防』，而是在『能做防守任務』與『拒絕明顯有害請求』之間找平衡。工程上這是對齊（alignment）的精細調校，而且因為權重公開，研究者能自己量測拒絕行為，不必只聽供應商說法，這是透明度帶來的可驗證性。
🔭 為什麼『重現再修補』特別適合拿來訓練小模型？
因為它有客觀的對錯判斷：漏洞能不能被重現、補丁後能不能不再被重現，都能由程式自動驗證，不需要人工打分。可驗證的獎勵是強化學習最穩定的訊號來源，能降低『獎勵被鑽漏洞』的風險。這是把大模型當老師、產生訓練資料給小模型的蒸餾思維。

📝 隨堂考（點選答案，立即回饋）

Q1. Mistral Large 4 的「總參數約 1T、啟用參數約 49B」是什麼意思？
✅ 這是 MoE 的特性：總參數很多，但每個 token 只啟用被路由選中的專家，所以實際運算量只有 49B 等級。
Q2. 文章提到的兩種『稀疏』分別選擇什麼？
✅ MoE 稀疏挑『哪些專家（前饋網路）算』；注意力索引器稀疏挑『回頭看哪些位置』。兩者不同。
Q3. 為什麼部分封閉式模型在 Cyber Index 這類測試表現很差？
✅ 依文章，Mistral 報告幾個封閉頂尖模型分數接近零，原因是拒絕執行『重現漏洞』這類看起來像攻擊的工作。
Q4. 對一個事件處理中的防守團隊，開放權重最大的實務好處是？
✅ 文章強調開放權重讓使用政策與部署掌握在使用者手上；而授權對『模型即服務』有限制，所以最後一項是錯的。

🃏 翻牌記憶卡（先想答案，再點開對答）

MoE 是什麼？點我翻面
混合專家：模型有很多專家，每個 token 只路由到少數幾位處理，省運算。
Large 4 的規格重點點我翻面
約 1T 總參數、49B 啟用參數、1M token 上下文、可輸入文字與圖片、輸出文字。
為什麼重現漏洞很重要？點我翻面
修補漏洞通常得先重現它；但封閉模型常因任務像攻擊而拒絕。
為什麼適合做 RL 訓練？點我翻面
重現再修補有可自動驗證的獎勵訊號。
授權限制點我翻面
Mistral Ecosystem Open-Weight License：MIT 衍生，限制拿來做對外的模型即服務。

✅ 離開前自測（全勾＝這課真的學會了）

0%