AI-LECTURER 速報課|2026-07-19|約 28 分鐘

開源 AI 的真相:為什麼 PwC、紅十字會都選擇自己養模型,而不是用閉源 API?

取材:The state of open source AI(Hacker News(AI 高人氣))
📍 真實場景
陳威霖,一間中型會計師事務所(約80人)的資訊部主管

老闆前幾天看到新聞說 PwC 用開源模型自己架了一套服務數百位客戶的AI,不用再付雲端API的錢,回頭問他「我們是不是也該養一個」

😖 卡住的地方:他手上只有一份閉源API的帳單(一個月快十萬元)和老闆丟下的一句「你去研究」,完全不知道從哪個角度評估——資料敏感度重要嗎?公司養得起維運嗎?現在改還是繼續用API?
💡 這堂課會給他一套從真實案例整理出來的評估框架,還有一個能馬上輸入自己公司條件、算出建議方向的小工具,讓他明天回報老闆時不是憑感覺瞎猜

🧭 這到底是什麼(白話版)

這篇文章舉了好幾個具體到不能再具體的例子:紐西蘭北部一間毛利族廣播電台,用一套「授權方式把資料留在部落手裡」的做法,訓練自己的毛利語(te reo)語音模型——這個語言小到沒有任何商業市場願意投入;全球最大的會計師事務所之一 PwC,把一個公開釋出的模型用金融、會計的語言重新fine-tune(微調)拿別人已經訓練好的模型,用自己的資料再訓練一次,讓它更懂你的專業領域過,現在架設在自己的機器上服務數百位客戶,不再被per-token metering(按token計費)雲端AI服務常見的收費方式,依你輸入輸出的文字量計費,用越多、付越多綁住;洛桑的研究團隊和紅十字會合作,做出一個依照人道救援準則調整過的醫療模型,準備在當地和坦尚尼亞做臨床試驗;東非的農民用手機上跑的模型辨識木薯病害,完全離線、不需要連上雲端;瑞士甚至由公部門出資,訓練出一個國家級模型,權重、資料、訓練程式碼全部公開釋出。這些組織的共同點是:他們「擁有」自己的AI模型,不是每次用都要向廠商租。

這一切之所以可能,關鍵在於open weights(開源權重)AI模型訓練完成後的參數檔案被公開釋出,任何人都可以下載到自己的硬體上執行,不必透過廠商的雲端服務。以前企業要用強大的AI,幾乎只能透過廠商的API,每呼叫一次就付一次錢;現在只要模型的權重是公開的,就可以把它載到自己的伺服器、甚至一支手機上,成本結構整個改變——從「每次用都要付費」變成「前期投入硬體與人力,之後想用多少用多少」。

這個轉變已經反映在真實的使用數據上:現在多數production(上線量產)從「demo能動」進化到「天天穩定給真實使用者用」的正式運行階段流量,其實都是跑在開源模型上,而在 OpenRouter 這個模型流量平台上,使用量最大的前五名模型全部是開源的。不過這不代表閉源模型沒有優勢——在最頂尖的frontier model(前沿模型)目前能力最強、最貴、通常由大廠壟斷、不公開權重的模型,適合處理最困難的推理與多模態任務推理與多模態任務上,閉源模型依然領先,只是多數企業日常要做的事,根本用不到那麼強的模型。

但文章也很老實地點出開源AI的破口:根據 Mozilla / SlashData 在 2026 年的開發者調查,有 79% 正在加入AI功能的開發者用了開源模型(閉源是71%,兩者有大量重疊),開源模型的「採用率」明明贏了;可是一旦要正式上線,開源團隊只有 51% 真的做到量產,閉源團隊卻有 63%。這個落差不是因為開源模型能力比較差,而是因為維運工具、compliance(法遵/合規)確保公司的資料處理、AI使用方式符合法律規定與產業規範,例如個資保護相關法令與信任度還沒跟上——這正是這堂課動手做要練習評估的地方。

🎯 為什麼值得你花時間

省下的不是小錢,是長期的控制權PwC不再被閉源API按次計費,把模型架在自己的硬體上——短期看是省錢,長期看是把「要用多少AI、怎麼用」的決定權收回自己手上,不必看廠商臉色調整方案或漲價。
有些資料,本來就不該送出你的環境毛利語電台堅持資料留在部落手中,紅十字會要求醫療模型照人道準則調整——當你的資料涉及法規、文化主權或客戶機密,把資料送進第三方閉源API,可能根本不是「要不要」的選擇題,而是「能不能」的問題。
落地能力,才是現在真正的護城河開源模型的採用率贏過閉源(79% vs 71%),但正式上線量產卻輸(51% vs 63%)——這代表現在比的不是誰的模型比較強,而是誰的組織有能力把模型真的撐上線、撐得住。

⚙️ 它是怎麼運作的

1
從「每次用都要付費」到「自己擁有」傳統閉源AI是按次計費的租賃模式;開源權重釋出後,企業可以把模型下載到自己的硬體上,把持續性的費用換成一次性的硬體與人力投入。
2
微調成自己的專業語言PwC把公開模型調整成聽得懂金融、會計語彙的版本,這一步讓通用模型真正貼合特定產業的日常工作。
3
資料留在自己的環境裡毛利語電台的授權方式明確要求資料不離開部落;這種「資料主權」是很多受法規或文化規範組織選擇開源自架的核心理由。
4
部署到雲端以外的地方東非農民辨識木薯病害的模型直接跑在手機上,離線也能用——開源模型可以被塞進雲端根本到不了的場域。
5
連訓練過程都公開,讓別人能重現瑞士的國家模型連權重、資料、訓練程式碼都公開,這種透明度讓其他機構能驗證、重現、甚至在它的基礎上繼續改良。
6
價值往上游移動:拚的不再是模型,是怎麼把它用好閉源模型仍守住最頂尖的推理與多模態能力,但多數企業日常任務用不到那麼強;當基礎模型變成人人都能取得的commodity,真正決定輸贏的變成外面那層agentic harness——你怎麼把模型、工具、資料串起來。
2026 Mozilla / SlashData 開發者調查:開源模型採用率贏了,量產率卻輸了
開源模型閉源模型
有導入AI功能的開發者中,使用比例79%71%
能真正做到正式上線量產的比例51%63%

🛠️ 動手做:開源 vs 閉源 AI 決策評分表:算出你們公司該走哪條路

  1. 先誠實回答上面五題,選最符合你們公司現況的選項
  2. 按下「算出建議方向」按鈕
  3. 看系統依你的分數給出的建議方向,以及影響最大的幾個原因
  4. 如果建議跟你的直覺不一樣,回頭看看是哪一題把分數拉過去的——那通常就是你們公司最大的關卡
👇 下面是活的,直接操作

🧠 工程思維透鏡(資深工程師看到的是什麼)

🔭 為什麼開源模型的「採用率」贏了,「上線量產率」卻輸了?
這個落差戳破一個常見迷思:以為模型能力才是決定上線與否的關鍵。文章講得很清楚——差距在維運工具與信任,不是模型能力。用閉源API,出問題一通電話找廠商;自架開源模型,監控、安全更新、擴容全部要自己扛。這正是資深工程師常說的「demo到production之間,還有一整座冰山」,開源只是把冰山搬到你自己家門口。
🔭 PwC為什麼寧願花力氣自己微調、自己架機器,也不繼續用現成的閉源API?
這是一個規模經濟的判斷:服務數百位客戶時,按token計費的變動成本會隨用量線性成長,遲早會超過「自建硬體+維運人力」的固定成本。當用量夠大、夠穩定,把變動成本換成固定成本,長期反而更划算,還能順便換到資料掌控權與客製化彈性。
🔭 「價值移動到agentic harness」這句話,跟一般工程師的工作有什麼關係?
當開源模型的能力已經好到滿足多數日常任務,光是「選對模型」不再是差異化的來源——因為大家都能下載到同一顆。真正拉開差距的,變成你怎麼設計工具串接、資料檢索、流程guardrail,把模型包裝成一個真正能完成任務的系統。這意味著工程師的重心,要從「追新模型」移到「把系統的骨架搭好」。
🔭 瑞士把國家模型的權重、資料、訓練程式碼全部公開,圖的是什麼?
完全透明,換來的是科學可重現性與公共信任——任何人都能檢查這個模型是怎麼訓練出來的,別的機構也能在它的基礎上接著做,不必重新造輪子。代價是失去「藏起關鍵細節」的競爭優勢;但對一個以公共利益為目標的國家級基礎建設來說,透明本身就是目的,不是妥協。

📝 隨堂考(點選答案,立即回饋)

Q1. 文章提到PwC自己微調並運行開源模型,這樣做最直接的好處是什麼?
✅ PwC自己微調並在自己硬體上運行開源模型,最直接換來的是不再被按次計費、資料留在自己手上,不是說模型能力天生更強。
Q2. 根據Mozilla/SlashData 2026調查,開源與閉源模型在「採用」與「上線量產」上的差距,最可能的原因是什麼?
✅ 文章明講落差的原因是維運工具與信任度不足,不是模型能力,這是開源AI目前最大的破口。
Q3. 「價值移動到agentic harness」最貼切的意思是?
✅ 當基礎模型變成人人都能取得的commodity,真正決定輸贏的變成模型外面的工具鏈與流程設計,也就是agentic harness。
Q4. 毛利語語音模型的授權方式強調「資料留在部落手中」,這在工程上對應開源AI的哪個優勢?
✅ 毛利語電台的授權方式,重點就是讓資料不離開部落——這正是資料主權(在地掌控)的具體展現。
Q5. 東非農民用手機辨識木薯病害的案例,展示了開源模型的哪個特性?
✅ 文章描述這個模型直接跑在手機上、離線運作,展現開源模型可以部署到手機這種邊緣裝置的特性。

🃏 翻牌記憶卡(先想答案,再點開對答)

open weights(開源權重)點我翻面
AI模型的訓練成果(參數檔)公開釋出,任何人都能下載到自己的硬體上運行,不必透過廠商雲端
per-token metering(按token計費)點我翻面
雲端AI服務常見收費方式,依輸入輸出文字量計費;開源自架可以跳過這筆持續性費用
agentic harness(代理框架)點我翻面
包住AI模型的工具鏈,負責串連工具、資料、流程;基礎模型變commodity後,這裡才是真正拉開差距的地方
frontier model(前沿模型)點我翻面
能力最頂尖、通常閉源、由大廠壟斷的模型,適合最難的推理與多模態任務,但多數日常工作用不到
fine-tune(微調)點我翻面
在別人訓練好的模型上,用自己的資料再訓練一次,讓模型更懂你的專業領域語言
production(上線量產)點我翻面
從「demo能動」進化到「天天穩定給使用者用」的正式運行階段,是開源模型目前最大的落地瓶頸

✅ 離開前自測(全勾=這課真的學會了)

0%