AI-LECTURER 速報課｜2026-10-15｜約 25 分鐘

24B 的腦、2B 的力氣：為什麼這個能在你筆電上跑的 AI 代理，工具呼叫贏過更大的模型

取材：Run fast, private agents on-device with LFM2.5-24B-A2B（Hugging Face Blog）
📍 真實場景
小佩，接案的自由工作者，替三家小店管理訂單、報價與客服信件

她想在自己的筆電上架一個 AI 代理，自動讀信、查訂單表、回信，客戶資料一份都不想上傳到雲端

😖 卡住的地方：她試過幾個本機模型：不是慢到每封信等一分鐘，就是會呼叫錯工具、把訂單編號填錯格子；能穩定做事的模型又大到筆電裝不下
💡 這課帶你看懂 LFM2.5-24B-A2B 為什麼「總共很大、每次只動一小部分」，以及怎麼判斷它是不是適合小佩這種需求

🧭 這到底是什麼（白話版）

LFM2.5-24B-A2B 是 Liquid AI 發表的語言模型。名字裡的「24B」代表它總共約有 240 億個 參數模型裡可被訓練調整的數字，可以想成模型的「腦細胞」數量，「A2B」代表每處理一個字，只會啟用其中約 20 億個。這種設計叫做 MoE（混合專家）模型裡養了很多位「專家」，每次只叫其中幾位出來工作，其餘休息。

它的每一層有 64 位專家，每個字由 路由器負責決定這個字該交給哪幾位專家處理的小單元挑出 4 位（top-4 routing）。所以腦袋很大、知識很多，但每一步真正花力氣的只有一小部分，速度就接近一個 2B 的小模型。

它還有兩個特色：第一，它是 推理型模型回答前會先把思考過程一步步寫出來（思維鏈），再給最後答案的模型，每次都先想再答；第二，它是被「專門訓練成代理」的，意思是它不只會聊天，還會自己決定要呼叫哪個工具、分幾步把任務做完，這類能力叫 工具呼叫模型輸出一段格式固定的指令，讓程式去執行查詢、寫檔等動作。

官方的賣點是：在 LiveClaw 這個代理測試上拿到 48.09 分，勝過參數多約 50% 的 Qwen3.6-35B-A3B（38.19 分）；在 Apple M5 Max 上每秒可產生 184 個 token，在單張 NVIDIA B300 GPU 上最高可達每秒 2.1 萬個 token。

🎯 為什麼值得你花時間

隱私：資料不必出門模型小到能放進個人裝置，代理讀信、查表時資料留在本機。對小佩這種處理客戶資料的人，這是能不能用的門檻，不只是加分。
推理型模型的成本被 MoE 攤平推理模型要先寫一大段思考才回答，輸出的 token 很多。每個 token 只動 20 億參數，思考變得便宜，所以「每次都先想再答」才負擔得起。
小模型也能在代理任務上拿下勝場在 AutomationBench（27.69 對 8.72）、LiveClaw、ToolSandbox、IFEval 等項目領先同組模型，顯示代理能力靠的不只是模型大，還有訓練方式。但它並非全面勝出，下面的取捨會講。

⚙️ 它是怎麼運作的

1
打好底：預訓練 33T token預訓練資料從約 17T 提高到約 33T token（T 是兆）。中途還加碼 2T token 的 32K 長度資料（偏重推理、數學、程式、指令遵循、多語言），以及 300B token 的 131K 長度資料（偏重長文）。工具呼叫與多輪軌跡從頭到尾都混在資料裡。
▼
2
第一步：監督式微調（SFT）拿人工整理或精選的範例讓模型照著學，先把基本的「怎麼回答、怎麼用工具」教會。
▼
3
第二步：老師各自專精先分別訓練幾位各有專長的「老師」模型（teacher specialization），為之後把專長整合進同一個學生做準備。
▼
4
第三、四步：多領域同策略蒸餾（MOPD）蒸餾讓學生模型模仿老師模型的輸出，用較小的身體學到老師的本事分兩輪：第一輪針對非代理任務，第二輪專攻代理任務。
▼
5
第五步：代理強化學習（Agentic RL）強化學習讓模型自己試、做對有獎勵、做錯沒獎勵，慢慢學會更好的做法發生在真實的代理「工作台」裡，例如 OpenClaw、Hermes Agent、Pi、OpenCode，讓它在真正會用到的環境裡練習。
官方公布的部分基準測試（越高越好；AA-Omniscience 為負分制）
測試LFM2.5-24B-A2BQwen3.6-35B-A3B它贏還是輸
AutomationBench27.698.72大幅領先
LiveClaw48.0938.19領先
IFBench74.6964.21領先
PinchBench83.1889.93落後
WebArena Verified26.7537.62落後
GPQA Diamond74.4283.69落後
SWE-Bench Verified (OpenCode)51.0066.20明顯落後

🔍 程式碼漫遊（點有 ● 的行看白話講解）

這是 MoE「路由」的極簡概念版：對一個字算出 64 位專家的分數，只挑最高的 4 位，把他們的答案按權重加起來。真實模型的路由器是訓練出來的，這裡只示範流程。

●scores = router(token_vec) # 長度 64 的分數
💬 路由器看這個字的向量，替 64 位專家各打一個「適不適合」的分數。
●top4 = scores.argsort()[-4:] # 取分數最高的 4 位
💬 只留下前 4 名，這就是 top-4 routing。其他 60 位這一步完全不運算，省力的關鍵就在這裡。
●w = softmax(scores[top4]) # 轉成加總為 1 的權重
💬 把這 4 位的分數轉成比例，分數高的專家說話份量大。
●out = sum(w[i] * experts[e](token_vec) for i, e in enumerate(top4))
💬 只呼叫被選中的 4 位專家，結果按權重相加，就是這一層對這個字的輸出。

🛠️ 動手做：看看一句話到底叫醒了幾位專家

  1. 在輸入框打一句話（中文英文都行），按「送進路由器」。
  2. 下方 64 格代表一層裡的 64 位專家，亮橘色的是這句話動用過的專家。
  3. 先輸入一個字，數數亮了幾格：應該剛好是 4 格。
  4. 再輸入一整段話，觀察亮的格子變多，但每個字仍然只動 4 位。這說明「總參數大」與「每步用得少」可以同時成立。
  5. 注意：這是用簡單公式模擬的路由，只示範「每字挑 4 位」的概念，不代表真實模型挑到哪幾位。
👇 下面是活的，直接操作

🧠 工程思維透鏡（資深工程師看到的是什麼）

🔭 為什麼是「總量大、啟用少」，而不是直接訓練一個 2B 的小模型？
權衡是「記憶體」換「速度」。MoE 把 240 億參數都放進記憶體，才能存放更多知識；但每個字只算 20 億，速度與電力接近小模型。代價是：裝置記憶體仍要裝得下整個 24B，所以它適合「記憶體夠、算力有限」的筆電，不適合記憶體很小的手機。直接訓練 2B 模型省記憶體，但知識容量天花板低。
🔭 為什麼一個小模型能在代理測試上贏過更大的模型，卻在 SWE-Bench 輸很多？
因為它的訓練目標很集中：後半段全在代理工作台裡做強化學習，工具呼叫、多輪操作被優先優化。但寫程式修真實專案的 bug（SWE-Bench Verified 51.00 對 66.20）、網頁操作（WebArena）與研究所等級知識題（GPQA）更吃總參數量與廣度，這是設計時的取捨：把力氣花在「會用工具」上，就不可能每一項都贏。選模型時要看自己的任務屬於哪一種。
🔭 「先想再答」的推理模型，為什麼特別需要 MoE 的省力設計？
推理模型每題會多寫一大段思考，輸出 token 數量可能是一般模型的數倍。總成本約等於「token 數 × 每 token 成本」。MoE 把每 token 成本壓低，才抵得過 token 數增加。反過來看，如果是純粹問答、不需要思考，這個設計的優勢就沒那麼大，這也是官方把它定位成「只做推理」的原因：它把賭注全押在思考+工具的路線。

📝 隨堂考（點選答案，立即回饋）

Q1. LFM2.5-24B-A2B 名稱中的「A2B」代表什麼？
✅ A 是 active（啟用），2B 是 20 億。總共約 24B，每個 token 只啟用其中約 2B。
Q2. 這個模型每個 MoE 區塊有 64 位專家，路由時每個 token 會選幾位？
✅ top-4 routing：64 位專家裡每個 token 挑 4 位處理，其餘不運算。
Q3. 若你的主要需求是「讓模型自己修大型專案的真實 bug」，根據表格，下列哪個判斷最合理？
✅ SWE-Bench Verified（OpenCode）它是 51.00，Qwen3.6-35B-A3B 是 66.20，明顯落後。選模型要看和自己任務最接近的那一項測試，不能只看最亮眼的分數。
Q4. 後訓練的最後一個階段「Agentic RL」做的事是什麼？
✅ Agentic RL 是在代理工作台中以強化學習訓練。詞彙擴充與上下文擴大屬於模型架構／訓練設定，不是這一階段。

🃏 翻牌記憶卡（先想答案，再點開對答）

MoE 為什麼省力？點我翻面
總參數很多，但路由器每個 token 只挑少數專家運算（這個模型是 64 選 4），沒被選中的專家不用算。
LFM2.5-24B-A2B 比上一代 LFM2-24B-A2B 改了什麼？點我翻面
架構不變（40 層、64 專家、top-4）；上下文從 32K 增到 131K，詞彙從 65K 增到 128K，預訓練從約 17T 增到約 33T token，並變成只做推理的模型。
後訓練五階段點我翻面
SFT → 老師專精 → MOPD（非代理）→ MOPD（代理）→ Agentic RL。
它的強項與弱項各舉一例點我翻面
強：AutomationBench 27.69（對手 8.72）、LiveClaw 48.09。弱：SWE-Bench Verified 51.00（對手 66.20）、WebArena Verified 26.75（對手 37.62）。
裝置端代理的主要好處點我翻面
資料不離開本機（隱私），且每個 token 便宜，讓「先思考再回答」在個人裝置上也跑得動。

✅ 離開前自測（全勾＝這課真的學會了）

0%