小而快的 AI 時代：用小模型、本機運算與預算思維把 AI 真正用起來

🧭 本單元白話講

想像你每天有一堆「重複又瑣碎」的工作：把長文章縮成三行摘要、把客人的來信分成「退款／詢問／抱怨」、到資料庫撈一筆資料。過去很多人的直覺是「這種事也得叫最聰明、最貴的大模型來做」。這一課要先把這個直覺拆開來看：現在，小而快的模型已經大多撐得起這類工作。

先看一個最直接的例子。Anthropic 推出的 Claude Haiku 5.5，官方形容它是「史上最便宜、最快、也最強的小模型」，並明說它是為「大量、對成本敏感」的任務設計的，例如摘要、壓縮（compaction）、資料庫查詢和分類。這些正是「做一次不難，但一天要做上萬次」的工作。它的小模型同一家公司的產品線裡，體積較小、反應較快、價格較低的那一檔模型定位，就是專門吃下這種量大的活。

「為什麼是現在？」素材裡有兩個線索。第一是便宜：Haiku 5.5 平均執行成本比上一代 Haiku 4.5 約低 75%；以每百萬 token模型處理文字的最小計量單位，大約是一個字或半個字，計價就是按它算 計，輸入從 1.00 美元降到 0.10 美元，輸出從 5.00 美元降到 0.50 美元。第二是變強：同一張成績表裡，Haiku 4.5 在 Terminal-Bench 4.0（讓 AI 在命令列環境裡完成任務）是 0.0%，Haiku 5.5 則是 39.2%；在 OSWorld 2.1（讓 AI 操作電腦）從 15.7% 升到 72.4%。又便宜又更能打，「夠用」的門檻自然就被跨過了。

第二條路是自己動手把大模型「縮小」。Hugging Face 的一篇文章裡，作者想要一個縮小版的提示詞改寫模型：官方版本是 90 億參數、要約 20 GB 記憶體，還會先想上千個 token 才開始寫。他請代理人工具 ML Intern 用 蒸餾讓大模型當老師、產出大量示範答案，再拿這些答案去教一個小模型模仿的方式處理，一天後得到 0.8B 的版本，能在一般 CPU 上跑、有效輸出率 99.7%、只用老師約四分之一的 token，整個專案算力只花 16 美元，其中包含讓 90 億模型標註 8,797 筆範例。

所以這一課的結論不是「小模型比大模型好」，而是「分工」。Haiku 5.5 官方也強調它適合當 Opus 5.5、Sonnet 5.5 這類大模型的助手（subagent），分擔寫程式時的雜務；同時因為速度最快，也適合即時客服與瀏覽器操作這類「慢一秒就有感」的場景。大模型負責難題與統籌，小模型負責大量、重複、要快的活，這就是後面幾個單元要延伸的主軸。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元我們看到小模型已經夠用；這一單元要回答的是：夠用的小模型，要怎麼被安排去做「大量、重複的判斷工作」。答案之一是換一種問法。過去我們常叫模型「寫一段回答」，但很多場合其實只需要一個判斷：這張照片有沒有破損？這封來信該交給哪個部門？這個問題有多緊急？OpenAI 的 Decisions API（目前是公開測試版）就是專門為這類需求設計的，素材中說它回傳答案的速度比一般的 Responses API 快約 10 倍。

它的用法很單純。一次請求有三個部分：model（由哪個模型評估，目前只有 gpt-6-luna）、input（共同的證據，可以是文字，也可以是文字加圖片）、questions（你想問的問題清單）。每個問題要取一個獨一無二的名字，回應的 answers 陣列會把這個名字原樣帶回來，所以你一次問好幾題也不會對錯答案。

問題分三種型別。predicate 用來檢查「某條件是否成立」，回傳 0 到 1 的機率；choice 用來從你給的固定選項中挑一個，例如部門或內容類別；score 則用來對照有順序的等級評分，例如問題嚴重程度。素材特別說明，choice 與 score 底層都是對各個離散選項算出機率，差別在 score 會把各等級編號以機率加權平均，所以分數可以落在兩個等級之間，例如 機率加權平均把每個等級的編號乘上模型對該等級的把握程度再加總，所以結果能介於兩級之間，例如 1.7 分。

這跟便宜的小模型怎麼搭配？Anthropic 的 Claude Haiku 5.5 素材給了另一半答案：它被定位為「高用量、重視成本」的模型，擅長摘要、資料庫查詢、分類這類快速又重複的工作，平均成本比 Haiku 4.5 約低 75%；輸入每百萬 token 只要 $0.10（提示在 10 萬 token 內），輸出 $0.50，而 Sonnet 5.5 是 $2.00 與 $10.00。換句話說，一個負責「又快又準地給出判斷」，一個負責「讓大量判斷付得起」，兩者都在回答同一個問題：別拿大模型做每一件小事。

要記得界線：Decisions 適合你需要「機率、選項、評分」這三種答案時使用。如果你需要模型產出符合自訂 JSON 結構的內容，例如抽取欄位或寫一段說明，素材建議改用 Responses API 搭配 結構化輸出要求模型照你事先定好的欄位格式回答，方便程式直接讀取；需要叫模型呼叫工具時，則用函式呼叫。選對工具，比硬把一個工具用到所有地方重要。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元我們學到，與其讓大模型包辦一切，不如把「判斷」交給專用的分類與分流工具。這一單元要往前再走一步：連「搜尋與理解」這件事，也可以直接在你自己的電腦上完成，資料不用寄出門。

先說什麼是向量化（embedding）把文字、圖片、聲音換成一長串數字，意思相近的內容，數字也會彼此靠近，電腦就能用「比數字」來判斷像不像。Google 推出的 EmbeddingGemma 2 就是這類小模型，只有 7.4 億參數，卻能把文字、程式碼、圖像、影片和音訊都放進同一個「共用空間」。所以你可以用一段文字去找一段語音備忘錄，或在好幾小時的錄音裡搜尋某句話，全部由同一個模型在本機處理。

它之所以「小而夠用」，素材裡有幾個很具體的設計。第一，模組化：只做文字的話最小只要 2.7 億參數，要看圖或聽音再各加 1.7 億與 3 億的編碼器。第二，省儲存：靠 Matryoshka 表示學習（MRL）像俄羅斯娃娃一樣，把一條 768 維的向量從尾端截短成 512、256 或 128 維，仍保有大部分意思，所以不用重訓，向量可以縮到最多省 6 倍空間，本機向量資料庫就不會被撐爆。第三，量化後在手機上文字版只需約 191MB 記憶體，完整多模態約 567MB。

這些能力的主要用途是本機搜尋與 RAG（檢索增強生成）先從你的資料裡把相關段落找出來，再交給語言模型參考後回答，而不是讓模型憑記憶亂答。素材提到上一代已被下載超過 2000 萬次，開發者拿它做裝置端搜尋與重視隱私的 RAG。再加上 Apache 2.0 授權可商用，你可以放心把它嵌進自己的產品。另外它的程式碼檢索分數從 68.76 升到 78.68，適合拿來索引自己的程式庫。

另一條省錢路線是蒸餾讓大模型當老師、產生大量示範答案，再拿這些答案去訓練一個小很多的學生模型，讓它學會老師的特定本事。Hugging Face 的作者想要一個縮小版的提示詞改寫器：官方版是 90 億參數、要約 20GB 記憶體，還會先「想」上千個 token 才開始寫。他讓 9B 老師替 8,797 筆請求標註答案，蒸餾出 0.8B 的學生，能在 CPU 上跑，輸出有效率 99.7%，只用老師約四分之一的 token，整個專案算力花費約 16 美元。

兩個故事合起來，就是本單元的主軸：向量化讓「找資料」留在本機，蒸餾讓「做一件專門的事」也能在本機的 CPU 上完成。資料不用出門、也不用按次付費，隱私與成本兩個難題同時被壓低。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

🧭 本單元白話講

上一單元我們看到，向量化模型小到可以直接在自己的電腦上跑。這一單元要把視角拉遠，問一個更根本的問題：算力不是無限的，那麼誰該用多少、怎麼分才合理？

Ai2 是一間 AI 研究機構，管理著數千張 NVIDIA 的 GPU（GPU專門做大量平行運算的處理器，訓練 AI 模型主要靠它），服務約 150 位內部研究員。他們發現一個現實：任何時刻，大家排隊申請的 GPU 數量是實際擁有量的 2 到 3 倍。換句話說，每一個 GPU 小時背後，都有 2 到 3 個研究計畫在搶。

他們原本用「優先權」制度：誰標成 HIGH 誰先用。結果出現兩種怪現象。一是「佔位」：研究員怕臨時除錯排不到，就先丟一個什麼都不做的工作把 GPU 佔著。二是「優先權通膨」：最後 100% 的工作都標 HIGH，低優先級的人完全分不到。優先權一旦人人都能自己填，就失去意義。

Ai2 的解法是改成「GPU 時間預算」加上階層式公平分配把總資源先分給各團隊，團隊內再往下分，每一層都照公平比例。原本每次都要工程師臨場協調的爭論，變成一個公開透明的預算流程：這個專案這季配多少 GPU 時間，講清楚、記在帳上。

把這個思維搬到你自己身上，就是「預算思維」。Haiku 5.5 把每百萬輸入 token 的價格從 Haiku 4.5 的 1.00 美元降到 0.10 美元，平均成本降約七成五，專門吃大量重複的工作，如摘要、分類、資料庫查詢。EmbeddingGemma 2 則只要約 191MB 記憶體就能在手機上跑文字向量化，連雲端費用都省了。選型的重點不是挑最強的，而是替每一種工作配上剛好夠用的那一份算力。

⚙️ 脈絡拆解

📝 隨堂考（點選答案，立即回饋）

✅ 離開前自測（全勾＝這課真的學會了）