📍 真實場景
獨立 App 開發者阿凱，正在幫記帳 App 加上「離線問 AI」小幫手功能
他把一個小型的 on-device 模型塞進 App，讓使用者不用網路也能問記帳問題，速度快、也不會把使用者的財務資料傳到雲端
😖 卡住的地方：但小模型有時候會很有自信地講錯話（例如把日期或金額算錯），使用者被誤導卻毫無警覺；全部改用雲端大模型又會變慢、耗流量，還要把個資送出去
💡 讀完這篇，你可以把 Cactus Hybrid 裝進專案，讓小模型自己說「這題我沒把握」，只有真的沒把握時才悄悄轉交給雲端大模型救援
⚡ 一句話講清楚
這次的重點主角是 Cactus Hybrid，一套讓小型的 on-device 模型直接安裝、運算都在你自己的手機或筆電上完成的 AI 模型，不必把資料傳到雲端伺服器（例如 Google 家族最小的 Gemma 4）多學一項本事：老實承認自己「這題我沒把握」。做法是在模型裡面內建幾個 探針 (probe)訓練時額外加進模型裡的小型偵測器，專門用來讀出模型對這次答案有多少把握，每次模型回答完，同時會吐出一個 0 到 1 的 信心分數 (confidence)AI 對自己這次回答正確與否的自我評分，數字越接近 1 代表越有把握，越接近 0 代表它自己也覺得可能講錯，而且是結構化的資料格式直接回傳，不是要你自己去讀模型講的話猜它有沒有把握。
有了這個信心分數，App 就能做「分級處理」：分數夠高（預設門檻 0.85 以上）就直接採用手機本機算出的答案，速度快、不用連網、也不會外洩你的資料；分數不夠高，系統才自動把這題偷偷轉交（路由 / handoff系統依照規則自動判斷要把這次請求交給哪個模型處理，並把結果接回來）給更強的雲端模型重新回答一次，讓使用者根本不會感覺到中間換過模型。這解決的正是小模型最常被詬病的問題：它不是笨，是「講錯了自己還很有自信」，讓使用者難以分辨該不該相信。
Cactus 團隊也公布了實測數字：最小的 Gemma 4 E2B（搭配這套 Hybrid 機制）在多項 benchmark 上，只要把 15% 到 55% 的問題轉交給 Google 的 Gemini 3.1 Flash-Lite，其餘全部留在裝置端自己處理，整體品質就能追平完全使用 Flash-Lite 的表現——而且他們也提醒，如果把模型做更進一步 量化 (quantization)把模型內部參數的數字精度壓縮變小，例如從 16-bit 壓到 4-bit 或 3-bit，好處是模型檔案更小、跑更快，代價是準確度可能下降 來換取更小、更省電，需要轉交雲端的比例也會跟著往上升。
🏃 快速上手三步（今天就能做）
1
查：確認你的情境有沒有現成 benchmark 可以參考先去 GitHub 上的 cactus-compute/cactus-hybrid 專案頁，以及 Hugging Face 的 Cactus Hybrid collection，看 Gemma 4 E2B Hybrid 目前公布的任務類型：文字問答（MMLU-Pro）、圖表理解（ChartQA）、語音辨識（LibriSpeech、GigaSpeech）等。對照你想做的功能（例如問答、圖表判讀、語音輸入），確認落在有公開數據的類型裡，才不會憑感覺評估效果。
▼
2
試：本機跑一次最小可行測試，並注意版本地雷在開發機執行 `pip install cactus-compute`，用範例程式（`cactus_init` 載入 `Cactus-Compute/gemma-4-E2B-it`，再呼叫 `cactus_complete`）丟 10-20 題你自己領域的真實問題，把回傳的 `confidence` 一併印出來人工核對。若改走 `transformers` 路線，注意官方特別警告要鎖 `transformers>=5.5.4,<5.6`，5.14 以後的版本在這個 checkpoint 上會直接 segfault（程式當掉）。
▼
3
注意：用你自己的測試數字決定要不要開雲端備援檢查那 10-20 題裡，`confidence < 0.85` 的題目是不是真的錯得比較多、`>= 0.85` 的是不是真的對得比較多。如果分界明顯，就照官方預設把 `auto_handoff` 打開，讓低信心的題目自動轉雲端；如果分數跟對錯沒有明顯關聯，先別急著接雲端 fallback，代表這個信心分數在你的領域資料上還不夠準，得先調整門檻或考慮換更大的裝置端模型。
🧠 工程思維透鏡（資深工程師看到的是什麼）
🔭 這個信心分數是真的可靠，還是模型換了一種方式自信地唬爛？
信心分數不是憑空從模型原本的機率算出來的，而是額外用 post-training 訓練出一顆專門判斷「這題我有沒有把握」的探針，理論上會比單看 token 機率準，但這也代表它的準確度完全取決於 Cactus 訓練資料有沒有涵蓋到你的實際使用情境；如果你的應用領域（例如特定產業術語、中文口語記帳用語）跟官方訓練資料差很多，這個信心分數就可能失真，不能照單全收，一定要像 quick_start 那樣拿自己的真實資料驗證一次。
🔭 量化模型是不是穩賺不賠？
從官方公布的表格可以看到一個明顯的三角權衡：量化程度越高（從 FP16 壓到 4-bit 再到 3-bit），模型檔案更小、跑更快、更省電沒錯，但同時需要轉交雲端的比例也顯著上升（例如 LibriSpeech 從 25-30% 一路上升到 55-65%）。換句話說，你用量化換來的「裝置端優勢」，有一部分是拿「更常需要連網、更常把資料送出去」換的，划不划算要看你的產品到底比較在乎「安裝檔小、耗電低」還是「盡量不連網、盡量保護隱私」。