他正在比較幾個開源模型,想找一個效果夠強、又能微調成公司專屬口吻的模型,同時盯緊雲端 API 的月費報價
Inkling 是某間 AI 實驗室最新發布的超大型模型,最大的賣點是「開源權重(Open-Weights)把訓練好的模型檔案整包公開下載,任何人都能拿回家自己改造,不是只能透過雲端 API 呼叫」——也就是說,使用者不只能透過官方網站呼叫它,還可以把整個模型下載回自己的電腦或伺服器,自己動手調整。
它號稱有 975B 個參數可以想像成模型腦袋裡的「旋鈕」,旋鈕越多通常代表能記住、學會的東西越多,但也越耗電,聽起來嚇人,但關鍵在於它是一個「混合專家模型(MoE)把一個超大模型拆成很多「專家小模型」,每次只叫醒其中幾位專家出來工作,而不是全部一起動」。975B 只是把所有專家的旋鈕全部加總起來的帳面數字,實際處理一個問題時,只有 41B 個旋鈕真正動起來,其餘專家當下完全沒有耗電。
另外,Inkling 支援最多 100 萬 token 的「上下文窗口(Context Window)模型一次能記得多少文字內容,數字越大代表可以一口氣塞進去越長的文件而不會忘記前面講過什麼」,而且原生就看得懂文字、圖片、聲音跟影片,不需要另外拼裝好幾個單一功能的模型。
更特別的是,這個模型開放在一個叫 Tinker 的平台上讓人「微調(Fine-tuning)拿一個已經訓練好的模型,用自己的資料再教它一次,讓它學會特定領域的說法或風格」,並且具備「推理效力(Thinking Effort)讓模型自己決定要想多久、多深入才回答,簡單問題少想一點省成本,難題多想一點求正確」這種可調整的設計,讓模型能視情況拿捏成本與表現之間的平衡。
| 模型 | 總參數量 | 實際啟動參數量 | 適合場景 |
|---|---|---|---|
| Inkling | 975B | 41B | 需要廣泛能力、多模態的正式平台 |
| Inkling-Small(預覽版) | 較小規模 | 12B | 成本與延遲敏感的中小型應用 |
| 傳統全開模型(假設同量級) | 975B | 975B(全部啟動) | 幾乎不存在,因為運算成本過高 |
這段程式用簡化的方式模擬 Inkling 背後「混合專家模型」的路由邏輯:先幫每位專家打分,再只挑出分數最高的幾位出來做事,其餘專家這次完全不運算。
import randomEXPERTS = ['文法', '數學', '程式', '翻譯', '圖像', '音訊', '常識', '安全']TOP_K = 2 # 每次只喚醒兩位專家,而不是全部8位都出動def gate_scores(token): return [random.random() for _ in EXPERTS]def route(token): scores = gate_scores(token) ranked = sorted(range(len(EXPERTS)), key=lambda i: scores[i], reverse=True) chosen = ranked[:TOP_K] # 只留分數最高的兩位專家 return [EXPERTS[i] for i in chosen]result = route('這是一段程式碼相關的提問')print(f'這次只喚醒:{result}')