開源模型大爆發：你也能打造自己的AI

🧭 本單元白話講

你可能會想：AI模型這麼強，是不是只有大公司才玩得起？這堂課要帶你看的第一件事，就是打破這個假設——最近，好幾個實驗室不約而同做了一件事：把自己壓箱底、最頂尖的模型，連同權重（weights）AI模型訓練完之後，內部所有判斷規則的數字總和；權重公開，等於把模型的大腦完整送給你，讓你能下載下來自己改造一起，整包公開釋出，任何人都能下載使用、甚至動手改造。這代表的不只是「多一個聊天機器人可以用」，而是「打造自己的AI」這件事，門檻正在被砍掉一大截。

第一個例子是某實驗室發布的 Inkling。它總共有 975B（9750億）參數，但採用混合專家架構（Mixture-of-Experts, MoE）把一個超大模型拆成很多小「專家」模組，每次只喚醒其中幾個跟問題最相關的專家來處理，而不是整顆大腦都全力運轉，藉此省下大量運算資源，實際運作時只會喚醒其中 41B（410億）參數，兼顧了規模與效率。它能一次讀進最多 100 萬個 token（差不多是好幾本書的字數），訓練資料橫跨 45 兆 token 的文字、圖片、聲音、影片，是名副其實的多模態模型。有趣的是，發布團隊自己承認 Inkling「不是目前最強的模型」——它真正的賣點，是同時具備多模態能力、可控的思考成本，加上直接能在 Tinker 平台上讓使用者微調（fine-tuning）拿一個已經訓練好的模型當基礎，再用你自己蒐集的少量資料繼續訓練調整，讓模型更貼近你的專屬需求，等於是把「半成品」交給你，讓你接手做成自己要的樣子。團隊甚至示範讓 Inkling 自己寫程式、微調自己，證明這件事有多容易上手。

幾乎同一時間，月之暗面推出了 Kimi K3——全球第一個跨過「3兆參數等級」門檻的開源模型，總參數量達到 2.8T（2兆8000億）。它靠的是兩項架構升級：Kimi Delta Attention（KDA）與 Attention Residuals（AttnRes），並把 MoE 的「稀疏程度」拉得更高，896 個專家裡每次只喚醒 16 個，運算效率因此提升了約 2.5 倍。跟 Inkling 一樣，K3 也支援 100 萬 token 的上下文窗口（context window）AI一次能「記住」並讀入處理的文字量上限，窗口越大，代表能一次塞進更多資料而不會中途忘記前面的內容，還內建原生視覺能力，能直接看懂截圖、協助寫遊戲、前端介面甚至CAD圖。官方也坦言，K3 整體表現仍落後給最強的閉源模型 Claude Fable 5 與 GPT 5.6 Sol，但在開源陣營裡已經是壓倒性的頂尖水準，完整權重預計在 2026 年 7 月 27 日前釋出。

把這兩個例子擺在一起看，會發現一個共同的訊號：這些頂尖實驗室都沒有把「最強模型」的權重鎖起來當金雞母，反而選擇整包公開。這正是這堂課接下來要延伸的重點——當「起點」的門檻被打到這麼低，接下來要問的，就不再是「有沒有夠強的模型可以用」，而是「你打算拿它來做什麼」。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一集我們看到開源模型的天花板不斷被刷新，效能已經逼近甚至打平商業巨頭的產品。但這一集要講的轉折更關鍵：光是「用得起」厲害的模型還不夠，真正翻天覆地的變化，是連「動手改造模型」這件事，門檻都正在崩塌。

過去，微調拿一個已經訓練好的AI模型，用自己準備的少量資料再加強訓練一次，讓它更擅長某個特定任務是超大型公司的專利：你得先把模型的checkpoint（也就是訓練到一半或訓練完成時存下來的模型參數快照）轉換成自家系統看得懂的格式，還要養一整組工程團隊改寫訓練程式碼。NVIDIA 和 Hugging Face 最近推出的 NeMo Automodel 直接打破這個規則——只要模型是 Diffusers 格式（Hugging Face 上主流的擴散模型函式庫格式，像是 FLUX.1-dev、Wan 2.1 這些能生成圖片、影片的模型都是用這格式），就能直接拿來訓練，不必轉檔、不必改寫模型。

更狠的是一套程式打到底的設計：以前想擴大訓練規模，得找工程師重寫程式碼去切分工作給多張顯示卡；現在只是改一份設定檔，就能在不同的切分策略之間切換（例如把不同層的運算分給不同顯卡）。搭配 LoRA只調整模型裡一小部分參數，就能逼近整顆模型重新訓練的效果，是省錢又省時間的微調技巧，像 Wan 2.1 這種13億參數的影片生成模型，甚至能塞進單一張40GB的顯示卡裡完成微調——這在過去根本是資料中心等級的工程，現在小團隊或個人玩家就能碰。

如果說微調工具鏈簡化只是門檻變矮，那接下來這件事根本是門檻被AI自己踹倒：有開發者做出一個會自己設計訓練配方的AI代理，再用強化學習讓AI透過不斷嘗試、依照結果好壞拿到獎勵分數，藉此逐步改進自己行為的訓練方式去訓練這個代理，讓它學會怎麼幫別的小模型上課。整套系統分成兩層：外層訓練的是那位「代理老師」，牠負責寫訓練任務、設計獎勵規則；內層則是真正被教的小模型，牠考得好不好，會回頭變成代理老師的獎勵分數。這一整套實驗，作者說只花了大約1300美元（約新台幣4萬元），而且模型權重、程式碼、GPU排程全部公開。

把這兩則消息放在一起看，意義不只是工具變好用。過去決定誰能做AI研發的關鍵是誰的機房比較大，現在正在變成誰能設計出更好的任務與獎勵機制。算力門檻沒有消失，但已經從只有巨頭玩得起，降到認真的個人或小團隊也摸得到邊。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元我們看到，把一顆大模型調教成專屬助理的門檻正快速消失，幾乎人人都能動手微調。但這一單元要戳破一個更常見的迷思：很多人以為，只要選對那顆「最強的模型」，AI系統就會變聰明。兩篇最新的研究卻指出，真正決定系統品質與成本的，往往不是你選了哪顆模型，而是你怎麼把AI「組織」起來做事。

第一個案例來自一群研究電腦架構的學者。他們做了一套叫Gauntlet的系統，專門用來審查艱深的學術論文——不是隨便寫個摘要，而是要挑出論文真正的核心機制、找出作者藏起來沒講清楚的假設，甚至指出這篇論文的貢獻還能用在哪裡。做法是採用多代理人架構讓好幾個AI分別扮演不同的專家角色各自審查，而不是只靠一個AI從頭做到尾，最後再由另一個AI統整比對這些意見：先讓五個各自獨立的「專家人格」AI分頭審查同一篇論文，最後再加一關對抗式整合(synthesis)流程最後一關，讓AI互相挑戰、比對彼此的意見，把矛盾或偏誤篩掉，再產出最終結論，把五份意見裡的矛盾與偏誤篩掉，整合成一份最終報告。

研究團隊找了20篇頂尖電腦架構會議的論文，讓10位真正的研究者親自寫評論，再拿自己的評論去跟Gauntlet的結果PK。20次比較裡，評審有15次覺得Gauntlet的評論更好，只有4次人類贏、1次打平，而且Gauntlet贏最多的地方剛好是最挑剔的「批判嚴謹度」。人類唯一沒輸的一項是「校準」——也就是講話有沒有拿捏分寸、不會過度自信。換句話說，AI在深度上已經追上甚至超越人類，但在「講錯了會不會被拆穿」這種信任感上，人類還是有一點優勢。

最關鍵的證據來自另一個98篇論文的對照實驗：研究者把同一顆模型拿掉多代理人架構，改成只用一個角色包山包海地寫評論，結果96%的論文都是原本的多代理人版本勝出，而且差距主要來自那個最後的「整合」關卡。這證明了一件事：讓系統變聰明的不是模型本身多強，而是你有沒有設計出讓AI互相檢查、互相補位的架構。

架構決定品質，那正式把系統做成產品上線之後呢？第二個案例告訴我們，選模型這件事同樣不能只看廠商公告的模型牌價廠商公告的每百萬字元輸入/輸出單價，只是理論上的價目表，不等於實際跑起來的總花費。有團隊實際跑了417個任務，同樣的AI代理人架構，只換底層模型：Sonnet每個任務花$0.19，GPT-4.1的牌價明明比較便宜，實際卻花到$0.37，總成本反而貴了將近一倍。

原因出在快取命中率AI在處理一連串相關請求時，如果能重複利用前面已經算過的內容而不必整個重新計算，就叫「命中快取」；命中越多，算得越快也越便宜。AI代理人做事時常常要重複讀取同一大段上下文，Sonnet的快取讀取費率特別低，大量重複使用之後省下的錢，足以蓋過它牌價較高、且需要多花三倍步驟才能做完同樣任務的劣勢。這給我們一個很實際的提醒：不管是設計多代理人架構，還是幫系統選模型，都不能只看單一數字（模型多強、牌價多便宜），而要看整個系統實際跑起來的總體表現。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元說,聰明系統的秘密不在於挑哪一顆模型,而在於怎麼把模型、資料、回饋機制搭成一套會自己運轉的架構。這一單元要把話講白:這套架構,現在連一個人在家也搭得起來——開源模型幫你省下訓練門檻,微調工具幫你省下客製化門檻,剩下欠的,只是動手去搭。

先看門檻怎麼被打開的第一步。月之暗面推出的 Kimi K3,是一顆 2.8 兆參數的模型,號稱是全球第一個開源的 3 兆等級模型,而且完整 權重(weights)模型訓練完之後留下的一大包數字檔案,記錄了它所有的判斷邏輯,下載了權重就等於把整個模型搬回家 會在 2026 年 7 月 27 日前全部公開釋出。值得注意的是,它自己也承認效能仍落後 Claude Fable 5 與 GPT 5.6 Sol 這兩顆最強的商用模型——但它選擇公開,而不是關起門來只求排行榜第一。

再看門檻怎麼被打開的第二步。Show HN 上有位開發者,只花了大約 4 萬台幣(1,300 美元),就用 強化學習(Reinforcement Learning, RL)讓 AI 用「做對加分、做錯扣分」的方式不斷試錯練習,分數(reward)越高代表做得越接近目標 訓練出一個「自己會用強化學習訓練模型」的 AI 代理。更關鍵的是,他把代理的權重、訓練框架、任務設計、獎勵程式碼、GPU 調度紀錄,連失敗的實驗紀錄都一併公開——等於把整份食譜攤開讓別人接手重做。

把這兩件事擺在一起看,前三個單元其實是同一條線:開源模型降低了「取得頂尖能力」的門檻,微調工具降低了「客製化這個能力」的門檻。剩下沒有人能替你省下來的,只有「動手把它們搭起來」這一步——決定要解決什麼任務、怎麼算做對了、要不要把過程也公開出去。

這就是這門課想留給你的東西:你不再只能透過別人的 API 當一個使用者,你手上已經有公開的模型、公開的訓練工具、甚至公開的完整案例可以照著走。從使用者變成打造者,差的不是天份或資源,是你願不願意動手搭這一套。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

✅ 離開前自測（全勾＝這課真的學會了）