AI-LECTURER 速報課|2026-07-16|約 25 分鐘

怪獸模型瘦身術:975B 參數的 Inkling,如何靠「開專家會議」省下運算成本?

取材:Inkling: Our Open-Weights Model(Hacker News(AI 高人氣))
📍 真實場景
陳威,中小企業唯一的 IT 工程師,最近被老闆要求「導入一個可以客製化的 AI 客服」

他正在比較幾個開源模型,想找一個效果夠強、又能微調成公司專屬口吻的模型,同時盯緊雲端 API 的月費報價

😖 卡住的地方:看到「975B 參數」這種數字就想打退堂鼓——公司只有一張普通等級的顯卡,這種規模的模型感覺根本跑不動、更別說訓練
💡 這堂課會告訴他,975B 只是帳面數字,真正動用的運算量小得多;看懂「混合專家」架構之後,他才能正確判斷這類模型是否真的適合公司的預算

🧭 這到底是什麼(白話版)

Inkling 是某間 AI 實驗室最新發布的超大型模型,最大的賣點是「開源權重(Open-Weights)把訓練好的模型檔案整包公開下載,任何人都能拿回家自己改造,不是只能透過雲端 API 呼叫」——也就是說,使用者不只能透過官方網站呼叫它,還可以把整個模型下載回自己的電腦或伺服器,自己動手調整。

它號稱有 975B 個參數可以想像成模型腦袋裡的「旋鈕」,旋鈕越多通常代表能記住、學會的東西越多,但也越耗電,聽起來嚇人,但關鍵在於它是一個「混合專家模型(MoE)把一個超大模型拆成很多「專家小模型」,每次只叫醒其中幾位專家出來工作,而不是全部一起動」。975B 只是把所有專家的旋鈕全部加總起來的帳面數字,實際處理一個問題時,只有 41B 個旋鈕真正動起來,其餘專家當下完全沒有耗電。

另外,Inkling 支援最多 100 萬 token 的「上下文窗口(Context Window)模型一次能記得多少文字內容,數字越大代表可以一口氣塞進去越長的文件而不會忘記前面講過什麼」,而且原生就看得懂文字、圖片、聲音跟影片,不需要另外拼裝好幾個單一功能的模型。

更特別的是,這個模型開放在一個叫 Tinker 的平台上讓人「微調(Fine-tuning)拿一個已經訓練好的模型,用自己的資料再教它一次,讓它學會特定領域的說法或風格」,並且具備「推理效力(Thinking Effort)讓模型自己決定要想多久、多深入才回答,簡單問題少想一點省成本,難題多想一點求正確」這種可調整的設計,讓模型能視情況拿捏成本與表現之間的平衡。

🎯 為什麼值得你花時間

帳面參數不等於運算帳單對預算有限的中小企業來說,最怕聽到「975B 參數」就以為要花天價硬體才跑得動。搞懂 MoE 之後就知道,真正影響運算成本的是「啟動參數」(41B),不是總參數,估價、選硬體的邏輯完全不同。
客製化不再只有雲端大廠說了算完整開放權重加上微調平台,代表像陳威這樣的工程師也能把模型調成公司專屬口吻的客服,而不是被綁在單一雲端 API 的固定功能上。
一個模型打包多種輸入形式文字、圖片、聲音、影片都能丟進同一個模型處理,不用另外維護好幾套單一功能的模型,這對人力有限的小型 IT 團隊是實際的維運簡化。

⚙️ 它是怎麼運作的

1
問題進來,先過閘門使用者的提問(或圖片、聲音)先被轉換成模型看得懂的數字,送進一個叫「閘門網路」的小型判斷模組。
2
閘門幫每位專家打分閘門會針對這次的輸入,幫模型內建的每一位「專家」打一個適合分數,分數高代表這位專家擅長處理這類問題。
3
只喚醒分數最高的少數專家系統只會挑出分數最高的幾位專家(Inkling 大約用掉 41B 個參數的份量),其餘沒被選中的專家這一次完全不運算,也就不耗電。
4
專家各自算完,答案加總送出被選中的專家各自處理完這次輸入後,結果會加權合併成一個最終答案回傳給使用者;如果問題比較難,模型還會多花一點思考效力去覆核。
同樣掛著「975B」招牌,實際要付的運算代價差很多
模型總參數量實際啟動參數量適合場景
Inkling975B41B需要廣泛能力、多模態的正式平台
Inkling-Small(預覽版)較小規模12B成本與延遲敏感的中小型應用
傳統全開模型(假設同量級)975B975B(全部啟動)幾乎不存在,因為運算成本過高

🔍 程式碼漫遊(點有 ● 的行看白話講解)

這段程式用簡化的方式模擬 Inkling 背後「混合專家模型」的路由邏輯:先幫每位專家打分,再只挑出分數最高的幾位出來做事,其餘專家這次完全不運算。

import random
💬 先載入亂數工具,這裡只是用亂數代替真正的打分過程,真實模型是用訓練好的權重打分。
EXPERTS = ['文法', '數學', '程式', '翻譯', '圖像', '音訊', '常識', '安全']
💬 先列出這次示範用的 8 位「專家」,對應真實模型裡數量龐大的專家子網路。
TOP_K = 2 # 每次只喚醒兩位專家,而不是全部8位都出動
💬 這個數字就是「稀疏啟動」的關鍵:不管總共養了幾位專家,每次工作只挑固定的少數幾位。
def gate_scores(token):
💬 這個函式代表「閘門網路」,任務是幫每位專家打一個適合分數。
return [random.random() for _ in EXPERTS]
💬 示範用亂數代替,真正的模型這裡是用訓練學到的權重去計算每位專家的適合程度。
def route(token):
💬 這個函式就是真正的「路由」步驟:先打分,再挑出分數最高的專家。
scores = gate_scores(token)
ranked = sorted(range(len(EXPERTS)), key=lambda i: scores[i], reverse=True)
💬 把所有專家依分數由高到低排序。
chosen = ranked[:TOP_K] # 只留分數最高的兩位專家
💬 只保留最前面 TOP_K 位,其餘專家這次完全不會被呼叫,也就不會耗費運算資源。
return [EXPERTS[i] for i in chosen]
result = route('這是一段程式碼相關的提問')
💬 實際使用時,換成任何一句話丟進去,都會得到當下挑選出的專家名單。
print(f'這次只喚醒:{result}')
💬 印出結果對照真實 Inkling:975B 總參數裡,每次只有 41B 真正參與運算,道理相同。

🛠️ 動手做:專家會議室:模擬 Inkling 如何只喚醒需要的專家

  1. 點擊上方任一個任務按鈕(例如「算數學」)
  2. 觀察哪幾個專家格子亮了起來
  3. 留意下方文字顯示的啟動比例,比較看看不同任務是否都用同樣的專家
  4. 換另一個任務再點一次,感受「每次只喚醒少數專家」這件事
👇 下面是活的,直接操作

🧠 工程思維透鏡(資深工程師看到的是什麼)

🔭 為什麼不直接把模型做小一點,而要做成「975B total、41B active」這種複雜架構?
MoE 讓模型在「記憶容量」與「運算成本」之間取得平衡:把知識拆給很多專家分別記,運算時只挑幾位出來用,等於同時擁有大模型的知識廣度和小模型的運算速度。單純縮小參數量會犧牲知識覆蓋範圍,而 MoE 是用「路由選擇」的工程巧思繞開這個取捨。
🔭 為什麼官方特別強調 Inkling「不是最強的模型」,還要公開講這件事?
這反映一個工程權衡:把資源投入在多模態、開放微調與效率的組合,而不是單一榜單分數。開放權重的商業模式賭的是開發者社群會把它調教成很多種專用模型,比起自己養一個榜首模型但只能透過 API 使用,這種策略換取的是生態系與可客製化的長期價值。
🔭 「可控的思考效力」這個設計,解決了什麼實際問題?
若所有問題都用全力思考的模式回答,簡單問題也要花大量運算,成本無法控制;若都用秒答模式,難題又容易答錯。讓模型自己判斷該想多深,是把準確度與延遲、成本之間的取捨,部分下放給模型自己動態決定,這是近期大型模型上線時的關鍵成本控制手段。
🔭 把權重完全開放到能實體下載,對這間公司自己有什麼風險?
開放權重代表競爭對手、甚至立場對立的其他單位都能直接複製、微調、甚至拿來訓練衍生模型,公司等於放棄了「只租不賣」的控制權。願意這樣做,代表他們判斷生態系規模與開發者黏著度,比短期技術領先的獨佔性更有價值,這是開源商業模式一貫的賭注。

📝 隨堂考(點選答案,立即回饋)

Q1. Inkling 總共有 975B 個參數,但每次實際運算只會用到多少?
✅ 這就是混合專家模型的重點:閘門只挑選其中一部分專家出來運算,41B 是這次挑選出來實際工作的參數量,其餘專家當下處於待命狀態。
Q2. 「開源權重」跟「只能用官方雲端 API」最大的差別是什麼?
✅ 開源權重代表模型檔案本身公開,使用者可以自行微調、部署在自己的環境;API 則是把運算留在官方伺服器上,使用者只能透過既定介面呼叫,無法真正動到模型內部。
Q3. 文章提到 Inkling「不是最強的模型」,這句話想表達什麼工程判斷?
✅ 官方明白表示 Inkling 的定位是適合客製化的均衡基礎模型,而不是要在跑分榜單上稱王,這是刻意的產品定位選擇。
Q4. 文章提到 Inkling 支援最多 100 萬 token 的「上下文窗口」,這代表什麼?
✅ 上下文窗口指模型一次能看並記住多少內容,數字越大代表能一次處理越長的文件、對話紀錄或程式碼庫。
Q5. 「可控的思考效力」設計,主要解決什麼問題?
✅ 簡單問題不需要全力運算,困難問題才需要深入推理,讓模型自己拿捏這個分寸,可以避免每次都用最貴的運算模式,同時保留處理難題的能力。

🃏 翻牌記憶卡(先想答案,再點開對答)

MoE(混合專家模型)點我翻面
把一個大模型拆成很多「專家」子模型,每次只挑其中幾位出來運算,兼顧知識廣度與運算成本。
975B total / 41B active 代表什麼?點我翻面
模型帳面上總共有 975B 個參數,但每次實際運算時只會喚醒其中 41B 個參數工作。
開源權重(Open-Weights)點我翻面
把訓練好的模型檔案整包公開,任何人都能下載、自行微調、部署在自己的環境,不受限於官方 API。
上下文窗口 100 萬 token點我翻面
模型一次能記住、處理的文字量上限很高,可以塞進長文件、長對話而不遺忘前文。
Thinking Effort(思考效力)可控點我翻面
讓模型依問題難度自行決定要想多深,簡單問題省成本、困難問題保準確。
Inkling-Small 存在的意義點我翻面
同系列但更輕量(12B active)的版本,讓成本與延遲敏感的應用也能用類似技術,而不是每個場景都硬上最大模型。

✅ 離開前自測(全勾=這課真的學會了)

0%