AI瘦身革命：用小顯卡、小預算，跑出大模型的威力

🧭 本單元白話講

這堂課的主題是『AI瘦身革命』，聽起來像是要挑戰一個大家深信不疑的常識：想跑得動動輒千億參數的AI大模型，沒有頂級顯卡免談。但最近兩個開源專案——AirLLM跟Swiftlet——用實際跑出來的成績單，狠狠打了這個常識一巴掌：一張市面上最便宜的4GB顯卡，甚至一支iPhone，都能讓數百億、甚至兆級參數的模型動起來。

要搞懂這是怎麼辦到的，得先弄清楚問題出在哪。AI模型裡有多少參數模型內部用來記憶「學過的東西」的一堆數字，參數越多通常代表模型懂的東西越多、也越占空間，過去的做法就要準備多大的VRAM顯示卡上專門用來暫存資料的記憶體，跟電腦主機的一般記憶體(RAM)是兩回事，容量通常小很多、但存取速度快很多，因為傳統做法是把整個模型一次全部搬進VRAM才能開始運算。這就像想讀一整套百科全書，卻堅持要先把每一冊都攤開擺滿整張書桌才准翻頁——書桌（VRAM）當然不夠大，70B、80B參數的模型隨便就要上百GB的VRAM，一般家用顯卡連邊都摸不到。

AirLLM的做法反過來想：模型還是那麼大，但不整包搬進VRAM，而是把模型拆成一層一層，推論AI拿訓練好的模型來回答問題、生成內容的過程，跟「訓練」模型本身是不同的兩件事，這裡指的是模型答題那一刻的時候，只把「現在要算的這一層」讀進顯卡，算完立刻丟掉、換下一層讀進來。整個過程更像是流水線接力，VRAM同一時間只要裝得下「一層」的份量就夠，不管模型嘴上說自己有幾百億參數，一張4GB的入門顯卡也能撐起70B模型的推論，甚至405B的Llama 3.1塞進8GB顯卡都跑得動。

更誇張的是遇到「混合專家」架構的模型時，這招還能再省更多。像DeepSeek-V3、Kimi K3這類模型內部其實切成了數百個小型「專家」，但每個字產生的當下，系統只會挑其中幾位專家出來處理，其餘沒被選中的專家根本不用讀進VRAM，繼續乖乖待在硬碟裡。這就是為什麼參數量高達2.8兆的Kimi K3，實測下來尖峰VRAM用量竟然不到4GB。Swiftlet走的是同一個邏輯，只是搬到了Mac跟iPhone上：把80B的Qwen模型只留下小小的核心常駐在記憶體裡，其餘專家權重隨選從硬碟讀取，尖峰記憶體只要4.3GB；35B版本甚至能塞進一支iPhone跑起來。

當然，天下沒有白吃的午餐。省下來的是VRAM空間，付出的代價是速度——每次都要現讀現算，比起模型整個躺在VRAM裡隨點隨用，自然慢上不少，這是一種「用時間換空間」的取捨。至於這樣的省法會不會影響模型的表現、划不划算，就是接下來幾堂課要繼續往下挖的問題。

⚙️ 脈絡拆解

🔍 程式碼漫遊（點有 ● 的行看白話講解）

AirLLM把「逐層串流載入」包裝成跟平常使用Transformer模型幾乎一樣的兩三行程式碼，使用者完全不用自己處理拆層、讀寫硬碟這些細節。

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元我們看到,一張消費級顯卡也能扛起千億參數等級的模型——原來『大模型』不再是少數大廠才玩得起的遊戲。這一單元要戳破一個更關鍵的迷思:能跑起來,不等於划算。真正要正式上線、天天服務使用者的AI,企業盤算的不是『這能不能跑』,而是『這樣跑,一個月帳單會不會爆炸』。

先看一個真實案例。有工程師把DeepSeek V4 Flash——一個高達3040億參數的大模型——直接搬上一張AMD MI300X顯卡,而且是正式生產環境的規格,不是實驗室展示。這張卡有192GB的HBM(高頻寬記憶體)顯示卡裡專門用來放模型參數、存取速度極快的記憶體,容量越大能塞進的模型就越大,容量是Nvidia H100的2.4倍,所以整個模型的參數能一次全部塞進這一張卡裡,不需要再切成好幾份分裝到多張顯卡,也不用把部分資料暫時挪到速度慢很多的一般記憶體。這件事聽起來像技術細節,但換算成帳單,意義很直接:少買幾張卡、少一套跨卡協調的複雜系統,硬體採購和維運人力費用就跟著往下掉。

不過,『裝得下』只是第一關。這張AMD顯卡官方支援的大模型部署方案,原本鎖定的是Nvidia或更新一代的AMD晶片,並沒有特別針對這張卡、這個模型版本調校過。工程師發現,顯卡計算時用來壓縮數字的FP8一種把數字用更精簡的方式儲存的格式,可以讓模型檔案變小、算得更快,但不同廠牌顯卡對『精簡規則』的定義可能不一樣格式,AMD這張卡用的版本和其他新卡不同,如果直接套用別人寫好的程式,誤差可能放大到兩倍;另外像是MoE(混合專家)模型內部其實藏了很多個小專家網路,每次回答問題只挑幾個專家出來運算,不必整個模型全部動起來,藉此省下大量算力的路由邏輯、預測下一步答案的加速機制,在高並發情況下也各自有各自的漏洞要修。換句話說,想要真的省錢,得先花工程時間把『能跑』修成『跑得對、跑得快』,這筆隱性成本,常常被忽略。

如果說第一個案例示範的是『怎麼在硬體端把成本壓到最低』,那麼另一家公司Databricks的做法,示範的就是『怎麼在天天要花錢的日常使用上省錢』。他們發現,把AI寫程式工具大規模推給全公司員工用之後,帳單成長的速度快到嚇人——放著不管,總有一天AI幫公司省下的效率,會被AI本身的帳單吃光。

Databricks的解法,關鍵字是效率前緣(efficiency frontier)在確定『堪用』的品質門檻之後,去找同樣品質水準裡單位成本最便宜的那群模型,而不是無腦挑最聰明、最貴的旗艦模型。他們指出,大廠競相追逐的是『智慧前緣』——誰能解出最難的數學題、抓出最刁鑽的資安漏洞;但日常寫程式的工作,九成用不到那種頂尖聰明,只要『夠用』就好。而『夠用的模型裡面最便宜的那一個』,進步速度比頂尖聰明的模型還快,幾乎每週都有更划算的新選擇冒出來。企業如果能像Databricks公開的Unity AI Gateway那樣,建立一套AI Gateway(AI閘道)企業內部統一的中介層,能把各團隊、各工具送出的AI請求依照設定的規則自動導向不同的模型,方便集中控管流量和花費,把日常任務自動導向當下最划算的模型,不用員工自己一個個手動切換,就能把帳單維持在一個大致固定的範圍內,同時還是讓每個人都能自由用AI——這就是文中說的『雙重目標』:用得爽,又不會爆帳單。

把兩個案例放在一起看,會發現企業要同時做到『能跑』和『划算』,靠的不是單一招數,而是硬體端和應用端兩條路一起打:硬體端榨乾一張卡的容量、修好底層的相容性問題,把基礎設施成本壓低;應用端則是別讓每個任務都跑最貴的模型,用中介層動態導向最划算的選擇。這兩件事分開看都只是工程細節,合起來看,才是企業把AI從『能展示的demo』變成『能長期營運的服務』真正的算盤。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元我們看到企業如何靠部署與用量上的技巧，把正式上線AI的帳單壓下來。這一單元要換個角度：如果模型本身就做得更精準、更小，是不是連「要不要縮衣節食」這個問題都不用問了？Mistral推出的Shieldstral就是一個好例子。它是一個專門做內容審核(content moderation)判斷一段文字或圖片裡有沒有暴力、仇恨、色情等不該出現的內容，像是社群平台的守門員的AI，只有30億參數(parameters)模型內部用來記住「學到的東西」的數字，數量越多通常代表模型能處理的情況越複雜，卻能打贏比它大上7倍的對手。

傳統的guardrail 模型專門幫AI把關輸出內容安不安全的另一個小模型，概念上像是內容審核的警衛，會把一套固定的「什麼算違規」的分類方式直接刻進模型參數裡。問題是，同一段內容在不同場合的標準不一樣——例如一段討論駭客攻擊手法的文字，在資安研究工具上是合理素材，放到心理健康支援平台上卻可能很危險。傳統做法遇到這種情境轉換，得把模型整套拿去重新訓練，曠日廢時又要花算力。

Shieldstral換了一個做法：讓「審核標準」不再寫死在模型裡，而是在使用的當下用白話文告訴它。整個請求拆成三塊——先說明「這是什麼場合、要多嚴格」，再問一個是非題，例如「這段內容有沒有鼓吹對特定族群的暴力？」，最後附上要判斷的內容（可以是文字，也可以是圖片）。模型只需要讀出「是」跟「不是」這兩個答案各自的可能性，再用softmax一種把好幾個數字轉換成機率的計算方式，讓所有選項的機率加起來剛好等於1，方便直接比較換算成一個連續的安全分數。這代表同一個模型不用重新訓練，就能換著套用不同場合的規則——今天拿去審社群貼文，明天拿去審醫療聊天機器人的回覆，只要換一下問法就好。

這正是「以小博大」的關鍵：Shieldstral厲害的地方不是硬體優化，而是把「內容審核」重新定義成一個「回答是非題」的簡單任務，讓模型不用背下所有可能的違規情境，只要學會怎麼判斷一個是非題就好。這樣的設計讓一個30億參數的小模型，單張16GB的GPU就能跑起來，還能同時處理文字與圖片這種多模態(multimodal)模型不只讀得懂文字，連圖片這類不同形式的資料也看得懂，可以放在一起判斷的任務。而且Mistral把它以Apache 2.0授權開源權重(open-weights)把模型訓練好的參數檔案整包公開放出來，任何人都能下載到自己的電腦或伺服器上直接使用，不必透過原廠的API，代表企業甚至不用付費呼叫API，自己抓下來裝在一張消費級顯卡上就能跑。

換句話說，省成本不是只有「換更便宜的硬體」或「砍請求次數」這兩條路。把模型的任務設計得更聰明、更貼近真正要解決的問題，一樣可以讓一個小模型打贏好幾倍大的對手——這也呼應了整堂課的主題：AI瘦身，靠的不只是身材，更是腦袋要用對地方。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

前面幾堂課，我們把重點放在怎麼用一張消費級顯卡撐起大模型、怎麼幫企業把AI帳單壓下來、怎麼用「以小博大」的思維挑一顆夠用就好的模型。這些工夫解決的都是「AI能不能便宜地跑起來」。但便宜地跑起來之後，還有一個問題被晾在旁邊沒人問：這個AI講的話，能信嗎？有個開發者把這個問題攤開來講，他做的是一套幫忙寫「投標文件」的AI系統，讀懂政府標案的規則，自動生成回覆草稿。這個場景很殘酷：AI寫錯字沒關係，但AI寫出「我們有五百萬英鎊的專業責任險」而公司其實沒有，那就不只是扣分，而是直接被取消投標資格。

作者講得很直白：語言模型的天性是接龍接出「聽起來最合理」的下一句話，不是接出「查證過為真」的下一句話。在絕大多數情境下，合理和真實剛好指向同一個方向，所以我們很少注意到這個差異。但在投標文件裡，這兩者恰好在最關鍵的地方——業主一定會查核的那些承諾，比如年營業額、保險金額、認證證書——分道揚鑣。這就是所謂的 幻覺(hallucination)AI講得一本正經、邏輯通順，但內容其實是憑空編造、沒有真憑實據——因為它的任務是「接得像」，不是「說得對」：不是AI故障了才會捏造，而是它原本的運作方式，捏造本來就是預設結果。

作者舉了一次內部測試的真實教訓。他們拿一份NHS標案當測試題，AI生成的草稿讀起來很有自信，但裡面偷偷把42項業主要求，全部歸給一個「合作夥伴」去負責——問題是，這個合作夥伴根本不存在。AI自己發明了一間公司，把它的名字寫成[PARTNER_NAME]，而且這個揭露被放在文件最後面，早在那之前，整篇草稿的敘述早就把這個合作關係講得像既定事實。更糟的是，他們自己拿來把關的品管程式，把這42項裡的大多數都判定為「已覆蓋、合格」——因為品管程式做的是 關鍵字比對(keyword matching)只檢查文字裡有沒有出現特定的關鍵字，就判斷這段內容算不算數，不管內容本身究竟是真是假，而那間虛構公司的段落，剛好把該有的關鍵字都寫對了。

這件事點出一個更深的問題：草稿AI和品管AI，各自單獨看都算合理——一個負責把故事寫圓，一個負責檢查有沒有漏項。但兩者組合在一起，反而變成一套「先捏造、再自己蓋章證明捏造為真」的系統。作者說，修法的辦法不是調整提示詞、多提醒AI「不要說謊」，而是從架構面下手：讓生成草稿的流程，先跑一次 能力核實檢查(capability-fit check)在AI動筆寫之前，先把業主要求的每一項條件，跟廠商手上實際握有的證據逐條配對，缺了什麼、有什麼，一目瞭然——逐條核對業主要求的每一項條件，跟廠商手上實際能拿出的證據做比對，而不是讓AI自由發揮之後再事後檢查關鍵字。

這套修正後的系統，後來真的上場跑過一次950萬英鎊的標案，六份文件、133頁，AI在五分鐘內生成第一版草稿。草稿一開頭不是漂亮的開場白，而是一則警示：「先讀這個：草稿裡有11項要求，目前是靠一個你還沒具名的合作夥伴來滿足」，後面接著列出具體缺口——兩年財報證明的最低營業額、五百萬英鎊的專業責任險、不能用未經授權的補丁處理的地毯更換條款等等。作者說，這個「拒絕」正是他最自豪的功能：AI讀懂了業主要求什麼、核對過廠商實際能拿出什麼證據，然後在有落差的地方，選擇不編故事、而是老實承認「這裡沒有證據」。

這也是這門課想留下的最後一個提醒：把顯卡壓縮、把帳單壓低、把模型挑到剛好夠用，這些是效率關卡；但AI講的每一句話是不是真有憑有據，是另一道獨立的品管關卡，兩者缺一不可——省了錢卻讓AI在不知不覺中捏造事實，代價往往比省下的錢還高。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

✅ 離開前自測（全勾＝這課真的學會了）