AI-LECTURER 速報課｜2026-08-08｜約 27 分鐘

別再無腦叫最貴的AI：Databricks怎麼靠「模型分流」把寫程式成本砍七成

取材：Databricks drove down AI coding spend 70%（Hacker News（AI 高人氣））
📍 真實場景
一間十人小型新創的技術主管阿凱，團隊今年全面導入AI寫程式工具

月底在核對這個月的AI工具帳單，準備拿去跟老闆報告

😖 卡住的地方：帳單金額比上個月又漲了快一倍，老闆質疑「AI真的有比較划算嗎」，但阿凱說不出錢到底花在哪裡、哪些其實可以省下來
💡 這課會教阿凱Databricks、Stripe、Uber等公司實際在用的「模型分流」邏輯：不是每一行程式都要叫最貴的AI出手，學會判斷什麼工作能用便宜模型，帳單立刻有感下降

🧭 這到底是什麼（白話版）

企業導入AI寫程式後，最先感受到的是產出速度飛快提升，但緊接著會撞上同一道牆：AI花費呈指數成長，像坐雲霄飛車一樣往上衝。如果放著不管，這條成本曲線遲早會超過營收成長，甚至反過來吃掉AI原本帶來的效率好處。

Databricks和Stripe、Coinbase、Uber、Ramp這些數位原生公司都碰到同樣的難題，他們發現真正有效的解法不是「少用AI」，而是把每一次AI請求分配給最適合、而不是最貴的模型，也就是所謂的路由（routing）依照任務內容，自動決定要把這次AI請求送去哪個模型處理。

這背後要先分清楚兩種「前沿」。一種是frontier model（前沿模型）目前市面上「智力最強」的AI模型，通常也最貴，主打解決數學證明、資安漏洞分析這類沒人解過的新問題追求的智力前沿；另一種是efficiency frontier（效率前沿）在特定「聰明程度」門檻下，價格最划算的模型集合，重點是「夠用又便宜」，不是「最強」。多數日常寫程式工作根本不需要用到能解數學證明等級的AI，只要挑到划算又夠聰明的模型就好，而這條效率前沿進步得比智力前沿快很多，幾乎每週都有更便宜的新選項冒出來。

要做到自動分流，得在使用者與AI模型之間加一層AI Gateway（AI 閘道）擋在使用者與各家AI模型中間的中介層，可以依規則把請求自動導去不同模型，不用改動每個工具的設定，以及包住工具本身、統一管理呼叫邏輯的meta-harness（統籌外殼）包在AI工具外面的一層程式，統一管理使用者怎麼呼叫底層各種AI模型。Databricks把這兩塊分別叫做Unity AI Gateway與Omnigent，並且直接開源，讓其他公司也能照搬。

🎯 為什麼值得你花時間

省下來的不是零頭Databricks實際做到砍七成AI寫程式支出，對上千工程師規模的公司來說，一年省下的可能是七位數美金，直接決定AI專案能不能繼續擴大規模，而不是被砍預算。
這不是優化，是續命文章一開始就點名：這條成本曲線如果放著不管，長期會超過營收成長，等於AI用得越爽公司賠得越多。所以模型分流不是錦上添花，而是能不能長期把AI留在公司裡的關鍵。
邏輯是通用的，不限Databricks能用背後原理其實很簡單：先分辨任務對智力的真實需求，再挑match這個需求的模型，而不是隨便挑最貴的。任何在用AI工具的團隊，不管是不是寫程式，都能套用同一套判斷邏輯。

⚙️ 它是怎麼運作的

1
盤點AI花費從哪裡來先把每個人每月呼叫幾次AI、用哪個模型、花多少錢列出來，通常會發現多數花費集中在少數重度使用者，以及「用最貴模型做簡單工作」這種浪費上。
▼
2
畫出任務難度對模型等級的對照表把常見寫程式任務按困難度分類：簡單重複的（像寫測試樣板、CRUD樣板碼）放一類，需要深度推理或高風險判斷的放另一類，再分別對應到便宜模型或前沿模型。
▼
3
架一層AI Gateway做自動分流不是靠工程師自己記得「這次該選哪個模型」，而是讓請求先經過閘道，閘道依任務特徵自動決定送去哪個模型，省下人工判斷的成本跟出錯機率。
▼
4
用meta-harness統一使用者體驗工程師還是用同一套介面寫程式，感覺不到背後在切換模型，體驗沒打折，底層卻已經悄悄換成更划算的模型組合。
▼
5
持續追蹤效率前沿的移動因為划算又夠用的新模型幾乎每週都有，團隊要定期重新校準「這類任務現在該用哪個模型」，而不是設定一次就永遠不管。
▼
6
監控總花費是否守在固定額度內目標不是把AI用量壓到最低，而是讓「開放給每個人自由使用」跟「總花費守在合理範圍」這兩件事同時成立，這就是文章講的dual mandate（雙重目標）。
前沿模型 vs 效率前沿模型，怎麼選？
面向前沿模型（Frontier Model）效率前沿模型（Efficiency Frontier）
核心目標解決人類沒解過的新問題（例如數學證明、資安漏洞分析）用最低成本達到「這個任務夠用」的聰明程度
價格通常最貴同等品質下最便宜的選擇
適合任務架構設計決策、正式環境資安漏洞修復、高風險程式碼審查寫單元測試、CRUD樣板碼、重構命名這類重複性高的工作
更新速度進步較慢，隔比較久才有突破進步快，幾乎每週都有更划算的新選項

🔍 程式碼漫遊（點有 ● 的行看白話講解）

這段程式模擬文章講的「路由邏輯」：不是憑感覺選模型，而是先幫任務打分，再依分數決定用便宜模型還是前沿模型。

●def choose_model(task_type, risk_level, needs_novel_reasoning):
💬 三個輸入分別代表：這是什麼任務、風險高不高（例如是不是碰正式環境）、需不需要沒人解過的新推理
● if needs_novel_reasoning or risk_level == 'high':
💬 只要牽涉高風險（像正式環境資安漏洞）或需要全新推理，就不省成本，直接送去最聰明的模型
● return 'frontier_model'
💬 對應文章的frontier model，貴但穩，用在真的需要的地方
● if task_type in ('unit_test', 'boilerplate_crud', 'rename_refactor'):
💬 這幾類是重複性高、有標準答案的工作，正是efficiency frontier最適合出手的場景
● return 'efficiency_frontier_model'
💬 用夠用、划算的模型處理，這正是文章說能省下大部分成本的地方
● return 'efficiency_frontier_model'
💬 預設也先用便宜模型，因為文章強調多數日常工作根本不需要前沿模型

🛠️ 動手做：AI模型分流試算器：你的團隊能省多少？

  1. 先在上半部「用量試算」區，調整團隊人數、每人每月AI請求數、簡單任務佔比與兩種模型的單價，按下「試算月費差異」，看看全部用前沿模型 vs 依efficiency frontier分流後，每月費用差多少。
  2. 接著到下半部「情境判斷」區，針對5個常見寫程式情境，選你認為該派「前沿模型」還是「效率前沿模型」處理，送出後立刻看到建議答案與理由。
  3. 兩區都做完後，對照本課how_works段落的判斷邏輯，檢查自己的直覺跟文章邏輯是否一致，尤其是答錯的題目要想清楚為什麼。
👇 下面是活的，直接操作

🧠 工程思維透鏡（資深工程師看到的是什麼）

🔭 為什麼Databricks選擇「自動路由」，而不是直接叫工程師少用AI、或乾脆統一換成便宜模型？
直接少用AI會犧牲文章開頭講的產出量級提升；全部換便宜模型又會在高風險場景（像資安漏洞修補）出包，兩個極端都不對。自動路由是在「存取自由度」跟「成本可控」之間找到一個不靠人工自律的中間解——用架構（Gateway）解決問題，而不是用規定解決問題，這是資深工程師常見的取捨：能用系統機制解決的，就不要靠人的意志力。
🔭 為什麼文章要特別強調「效率前沿」進步得比「智力前沿」快？
這代表這套省錢機制不是做一次就結束，而是要有持續重新校準的維運心態——如果把某個任務類型鎖死綁在特定模型上，幾週後可能就錯過更划算的新選項。這反映一個工程判斷：當環境變動速度夠快時，該優化的不是「某一次的最佳解」，而是「能不能低成本地持續切換到新的最佳解」的那個架構能力，這也是為什麼要先把AI Gateway這層基礎建設做起來。
🔭 把Omnigent和Unity AI Gateway開源出來，對Databricks自己有什麼好處？
表面上是回饋社群，實際上是把自己的成本管理能力變成產業標準的一部分——當Stripe、Coinbase這些公司也採用類似機制、甚至用同一套開源工具時，Databricks在「企業級AI治理」這個場景裡就有了先發者的話語權與生態位。這是常見的資深工程／商業策略：開源不是慈善，是把自己的解法變成別人的預設路徑。
🔭 這套「先分辨任務難度、再挑match模型」的邏輯，只能用在寫程式的AI花費上嗎？
不是。核心原理是「先分辨任務對智力的真實需求，再挑match這個需求、而非隨便挑最貴的」，這對任何在跑AI推論成本的場景都成立，例如客服對話機器人、文件摘要工具。資深工程師看到這種文章時，通常會把「表面上是某個領域的技巧」抽象成「背後其實是一個通用的成本／效能取捨模式」，再想這個模式還能套用到公司裡哪些地方。

📝 隨堂考（點選答案，立即回饋）

Q1. 文章說的「efficiency frontier（效率前沿）」指的是什麼？
✅ efficiency frontier不是指「最聰明」，而是「在夠用的聰明程度裡，最划算的選擇」，這跟追求峰值智力的frontier model是不同的概念。
Q2. 根據文章，企業導入AI寫程式最大的隱憂是什麼？
✅ 文章開頭就點出：那條成本曲線若放著不管，長期是不可持續的，甚至可能反過來抵銷、逆轉AI帶來的效率好處。
Q3. 以下哪個情境，依文章邏輯最適合派給「efficiency frontier模型」而不是「frontier模型」？
✅ CRUD樣板碼是重複性高、有標準寫法的工作，不需要動用最聰明（也最貴）的前沿模型，正是efficiency frontier該出手的場景。
Q4. AI Gateway在這套省錢機制裡扮演什麼角色？
✅ AI Gateway是中介層，讓路由邏輯集中管理，不用每個工具、每個工程師自己手動選模型。
Q5. 文章提到Databricks跟哪些公司交流、確認了類似的省錢做法？
✅ 文章提到這些做法是根據Databricks自身經驗，以及和Stripe、Coinbase、Uber、Ramp等數位原生公司交流後歸納出來的。

🃏 翻牌記憶卡（先想答案，再點開對答）

Frontier model點我翻面
追求峰值智力、能解新問題（如數學證明、資安漏洞分析）的最強模型，通常也最貴。
Efficiency frontier點我翻面
在特定聰明程度門檻下，價格最划算的模型集合；重點是「夠用又便宜」，不是「最強」。
AI Gateway的作用點我翻面
擋在使用者與各家AI模型之間的中介層，依規則自動把請求路由到合適的模型。
Dual mandate（雙重目標）點我翻面
同時做到「廣泛開放AI工具給所有人用、幾乎沒有使用門檻」和「整體花費守在每人固定額度內」這兩件事。
為什麼要不斷重新校準模型選擇點我翻面
因為efficiency frontier進步速度比intelligence frontier快，幾乎每週都有更划算的新模型，鎖死一個模型會錯過省錢機會。
Meta-harness（統籌外殼）點我翻面
包在AI工具外面的一層程式，統一管理使用者怎麼呼叫底層各種AI模型，像Databricks的Omnigent。

✅ 離開前自測（全勾＝這課真的學會了）

0%