📍 真實場景
阿凱，接案幫忙社區長照中心與住家客戶裝智慧家庭系統的工程師
客戶想要一個能語音控制電燈、家電的穿戴手環，但預算只夠買不到 200 美元的低階晶片，而且長照中心網路常斷線
😖 卡住的地方：市面上聽得懂人話的語音 AI 模型動輒好幾 GB，塞不進手環的小晶片；就算硬塞進去，客戶的長照中心 Wi-Fi 一斷，雲端 API 打不通，整組系統當場失靈
💡 讀完你會知道有一款只有 14MB、免裝任何額外軟體的離線 AI，能直接跑在便宜晶片上聽懂指令、控制家電，斷網也不怕
⚡ 一句話講清楚
Needle2 是一款只有 45M（4500 萬）參數、壓縮後檔案僅 14MB 的超輕量 AI 模型，設計目標很明確：塞進手機、智慧手環、機器人這類「沒有 GPU、沒有 NPU、記憶體只有幾十 MB」的便宜裝置。它做的不是像 ChatGPT 那樣的開放式聊天，而是專攻代理式 AI (agentic AI)讓 AI 不只回答問題，還能自己判斷要呼叫哪個功能、填入什麼參數去執行任務中最常見的一種：函式呼叫 (function calling)AI 把你說的一句話，對應到程式裡事先定義好的功能，並自動填好需要的參數，例如把「幫我把客廳燈調暗一點」轉成「設定燈光(位置=客廳, 亮度=30%)」這樣的指令。因為問題被限縮在「聽懂指令、對應到已知功能」，不需要世界知識和開放式對話，所以 45M 參數就夠用，不像聊天模型需要數十億參數。
為了讓模型輸出穩定不出錯，Needle2 把資料擷取任務也當成函式呼叫的一種：給它一個資料格式（schema）和一段文字，它就直接吐出結構化的欄位內容，而且系統會依照這個格式先「編譯」出一套規則，強制輸出符合格式，不會出現格式跑掉的亂碼 JSON。更關鍵的是它使用了量化 (quantization)把模型裡的數字用更少的位元儲存，讓檔案變小、跑起來更快，但通常會損失一點準確度技術把模型壓到 2-bit，而且是「從一開始訓練就用 2-bit」而非事後才壓縮，所以不會出現小模型常見的「一量化就變笨」的問題。
Needle2 也知道自己不是萬能的：遇到超出範圍的請求，它會誠實回傳「查無此功能」，而不是亂猜；每次判斷還會附上一個信心分數 (confidence score)AI 對自己這次判斷有多少把握的分數，用來決定要不要自己執行、還是該把問題丟給雲端更聰明的模型，你可以自訂門檻，分數夠高就在裝置上直接執行（快、免費、不外流資料），分數不夠就丟給雲端大模型處理，兩邊互補。這一整套設計加上邊緣運算 (edge computing)讓運算直接在手機、手環、家電這些「邊緣裝置」上完成，不用把資料傳到雲端伺服器的架構，就是它能塞進 200 美元以下裝置的原因。
🏃 快速上手三步（今天就能做）
1
去官網看規格與範例前往 cactuscompute.com/needle 讀「Show HN」介紹頁，看它列出的 45M 參數、14MB 檔案大小、Session RAM 28MB 等規格，並找到他們提供的免依賴 C++ 執行檔，在自己電腦上（不需要 GPU）跑一次範例指令，實際感受一下它「幾百 tok/s」的回應速度
▼
2
動手拆解一句語音指令挑一個你日常會用語音下指令的情境（開燈、設鬧鐘、查天氣），把這句話寫下來，對照官網 demo 裡「function calling」的範例，看它怎麼把口語句子拆成「功能名稱 + 參數」，抓住這種「先定義好功能清單、再讓 AI 對應」的設計邏輯，這是判斷這類小模型能不能用在你專案上的關鍵
▼
3
檢查手邊裝置夠不夠格查一下你想用的裝置（手機、樹莓派、智慧手環等）的可用 RAM 是否有 28MB 以上、CPU 是否至少是 Cortex-M 等級以上，對照 Needle2「無 GPU/NPU 也能跑」的最低需求，判斷這模型能不能直接塞進去；若規格差太多，先記下來持續觀察官方是否推出更小版本
🧠 工程思維透鏡（資深工程師看到的是什麼）
🔭 45M 參數的小模型，真的能取代雲端大型語音助理嗎？
這是用「任務範圍」換「模型大小」的取捨。Needle2 把問題限縮在『從一句話對應到已知功能與參數』，不需要世界知識或開放式對話，所以不需要動輒數十億參數；但這也代表它做不了閒聊、寫文章這類開放性任務，一旦超出範圍就得靠信心分數機制轉交雲端。換句話說，它不是要取代雲端大模型，而是把「大部分簡單指令」攔在裝置端處理，只把「真的搞不定」的少數情況才送上雲端，藉此換取速度、隱私與離線可用性。
🔭 為什麼要在訓練階段就做 2-bit 量化，而不是訓練完再量化就好？
後量化（訓練完才壓縮）對大模型影響通常不大，因為參數夠多、有冗餘可以犧牲；但小模型每個參數都「很值錢」，訓練後才硬砍精度容易讓效能崩壞。Needle 團隊選擇從預訓練階段就用 2-bit 的自家量化方案訓練權重、活化值、KV cache，讓模型「一開始就適應」低精度環境，部署時效能才不會大幅落差。代價是必須重新設計整套訓練管線，沒辦法直接拿現成的大模型做下游微調再壓縮了事，這對想「站在巨人肩膀上」快速做小模型的團隊是個不小的門檻。