📍 真實場景
在中型產險公司擔任後端工程師的偉倫,最近被資安部門盯上
他手上的理賠核心系統要修一個難纏的bug,想用AI輔助的Coding Agent幫忙看程式碼、抓錯誤,加快進度
😖 卡住的地方：公司資安政策上個月新增一條規定:任何程式碼內容一律禁止透過API傳到公司網路以外的伺服器,包括各種雲端AI工具,違者記大過。他手上的Coding Agent預設都是打雲端API,等於整組工具直接被廢掉,只能土法煉鋼查文件
💡 這堂課會告訴他怎麼把一整套開源AI模型直接裝進自己的Mac,讓Coding Agent改連本機端點,資料完全不出公司網路,還能學會判斷自己的Mac到底吃不吃得下這些模型
🧭 這到底是什麼（白話版）
Nativ是一款只能在Mac上跑的免費App,作用是讓你把Google、Cohere、Liquid AI等公司釋出的開源模型開源模型是原廠公開了模型的建構方式或參數,任何人都能下載到自己的電腦上執行,不需要透過該公司的伺服器,整包下載到自己的電腦裡執行。你不用註冊帳號、不用訂閱付費,甚至完全不用連網,所有運算都在你的Mac上完成。
它能吃得動這些通常需要大型伺服器才能跑的模型,靠的是蘋果自家的Apple Silicon蘋果從2020年起自行設計的M系列晶片(M1、M2、M3…),把CPU、GPU、AI運算單元整合在同一顆晶片上,加上Nativ底層用的MLX-VLM蘋果官方為M系列晶片打造的機器學習運算框架,能直接呼叫晶片內建的Metal繪圖加速功能,不必透過雲端伺服器轉一手框架去做最佳化調校。材料裡特別強調它是為M系列統一記憶體Apple Silicon的CPU、GPU、AI運算單元共用同一塊實體記憶體,不像傳統顯示卡有獨立的VRAM,記憶體夠不夠大,直接決定了能不能把整個模型放進去運算調校,這也是為什麼你的Mac記憶體大小,會直接決定你能跑哪個模型。
除了純聊天,Nativ也能讀圖片描述內容、幫影片做摘要、幫你在寫程式時自動完成程式碼,甚至做語音辨識與生成。它還把coding agent能幫你自動寫程式、改程式碼的AI助理工具,通常需要連到雲端API才能運作這類你原本就在用的工具,直接接到本機執行的模型上,讓你原本的工作流程不用改,只是背後的AI從雲端換成自己的電腦。
材料的宣言特別強調開源到底:不只模型是開源的,連Nativ這個桌面App本身也用MIT授權一種非常寬鬆的開源授權條款,任何人都可以免費使用、修改甚至拿去做商業用途,只要保留原作者的授權聲明公開原始碼,任何人都能檢查、修改、甚至貢獻程式碼。這跟坊間許多「號稱本地AI、其實是包了一層付費殼」的產品,走的是完全不同的路線。
🧠 工程思維透鏡（資深工程師看到的是什麼）
🔭 Nativ選擇自己包一層桌面App、直接呼叫MLX-VLM,而不是隨便找個雲端API轉發就好,這個工程決定在賭什麼?
包雲端API轉發開發成本低、模型更新也交給廠商就好,但完全喪失Nativ想主打的隱私與離線賣點。反過來,直接對接底層的MLX-VLM框架去跑本機運算,開發與維護成本高很多(要處理不同Mac機型的記憶體/晶片相容性),但換來的是資料真的不會出門這個雲端方案做不到的承諾——這是用工程複雜度去換一個沒有回頭路的差異化定位。
🔭 材料反覆強調沒有帳號、沒有訂閱、沒有VC roadmap,這對一個要長期維護的軟體代表什麼風險?
免費、開源、MIT授權對使用者很友善,但也代表沒有穩定的訂閱收入去養團隊持續修bug、跟上新模型。這類專案通常仰賴貢獻者社群或作者的個人熱情撐著,工程師在評估要不要把這個工具接進生產工作流時,要多想一步:如果這個專案哪天沒人維護了,你的工作流會不會跟著斷掉?
🔭 為什麼Nativ要特別把tokens/秒、記憶體壓力、熱降頻這些平常使用者看不懂的數字攤在介面上?
一般消費級App通常會把這些技術細節藏起來,做成一個感覺很聰明的黑盒子。但Nativ的受眾包含要debug效能問題的工程師,把降頻、延遲攤開來,使用者才能自己判斷是不是該換小一點的模型,或這台Mac該加裝散熱,這其實是材料裡開源透明哲學延伸到UI設計上的體現,把決策權交還給使用者,而不是幫使用者做決定。
📝 隨堂考（點選答案，立即回饋）
Q1. Nativ主打「本機執行」,最直接呼應材料中哪個訴求?
✅ 材料開頭的訴求就是不用註冊帳號、不用訂閱付費、也不必連上雲端伺服器,這是Nativ和一般AI聊天App最大的不同,再多的模型選擇或介面設計都是其次。
Q2. 材料提到Nativ底層是用什麼技術框架,並針對什麼硬體特性調校?
✅ 材料寫明Nativ的核心運算是靠MLX-VLM框架、針對M系列晶片的統一記憶體與Metal加速調校,不是隨便找個現成框架接上而已。
Q3. 為什麼統一記憶體的大小會直接決定你能跑哪個模型?
✅ Apple Silicon的架構跟傳統電腦不同,CPU、GPU、AI運算單元不是各自有獨立的記憶體,而是共用同一塊統一記憶體。模型的每一個參數都要能放進這塊記憶體裡才能運算,所以記憶體大小直接決定了你能不能跑某個模型,而不只是影響速度。
Q4. 承接課程情境,若公司禁止程式碼上雲,把coding agent接到本機端點(而非雲端API),主要解決了什麼問題?
✅ 重點不是變快或變聰明,而是把AI運算搬回自己的電腦,程式碼內容就不會經過網路傳到公司以外的地方,直接解決了資安政策裡程式碼不能上雲的限制。
Q5. 材料提到Nativ以什麼授權釋出原始碼?
✅ 材料的宣言明確寫著Nativ的桌面App本身也是開源、MIT授權,不是只有底層模型開源、介面卻藏起來。