公司想導入 AI 客服，老闆問小安三個問題：模型要跑在哪裡才不會太貴？AI 寫的程式與 AI 找出的漏洞能信嗎？怎麼讓 AI 客服越用越聰明、又能照公司流程做事？
想像你開了一家 AI 餐廳：廚師學會做菜的過程叫「訓練」，客人點餐後現場把菜端出來叫「推論」。這門課要帶你看的，就是這家餐廳的廚房——AI 到底跑在什麼機器上、怎麼才能出菜又快又穩。
先分清楚兩件事。訓練讓模型反覆看大量資料、調整內部數字，直到它學會規律的過程像是廚師苦練幾個月；推論模型學成之後，收到你的問題就即時算出答案的過程則是每天不斷地接單出菜。AWS 的 Trainium 與 Inferentia 就是照這個分工設計的：素材說明它們是「AI chips designed respectively for cost-effective training and inference at scale」，也就是前者主打訓練、後者主打推論，目標都是把成本壓低。
硬體選擇多了，新問題就來了：每種晶片都有自己的「方言」。素材提到，過去在 Trainium 上跑 Hugging Face 模型，要靠 optimum-neuron 這個函式庫，底層是 PyTorch XLA，開發者得「像編譯器一樣思考」——張量是延遲執行的、形狀必須固定、每遇到一次圖中斷就要重新編譯。Optimum Neuron 的存在，就是為了把這些麻煩藏起來，但也因此得自己維護一大堆客製程式碼。
TorchNeuron 改變了這件事。它是 PyTorch 的外掛，把 neuron 變成和 GPU 一樣的「原生裝置」，支援 eager 模式寫一行、算一行、馬上看到結果的執行方式，除錯很直覺、torch.compile 以及 FSDP、TP 等分散式功能。對 Hugging Face 的 Transformers、PEFT、TRL 等工具來說，Trainium 就只是另一種加速器；官方數字是前 100 大文字生成模型架構中，89% 能直接跑，舊的 Optimum Neuron v0.4.5 只有 46%。使用上只要加一個 device_map=neuron 參數。TorchNeuron 預計在 2026 年 10 月 20 日以公開測試版釋出，可用 pip install torch-neuronx 安裝。
另一邊，DeepSeek 開源了支撐自家線上服務的推論引擎 DeepInfer，讓我們看到「跑得快又穩」要做哪些事：用草稿 token 加速解碼、讓 CPU 排程與裝置運算重疊、讓同樣輸入得到同樣輸出（批次不變性與確定性取樣）。它支援 NVIDIA SM100 GPU 與華為昇騰 950 NPU 兩種硬體——可見業界的方向，是讓模型不被單一種硬體綁住。
| 比較項目 | Optimum Neuron（舊，基於 PyTorch XLA） | TorchNeuron（新） |
|---|---|---|
| 執行方式 | 延遲執行、形狀需固定、圖中斷就重新編譯 | eager 模式，也支援 torch.compile |
| 與 Hugging Face 的關係 | 靠自訂程式碼包一層來隱藏複雜度 | Transformers、PEFT、TRL 等直接使用 |
| 熱門文字生成架構支援度 | 46%（v0.4.5） | 89%（前 100 名中） |
| 上手方式 | 使用 optimum-neuron 專屬函式庫 | 加上 device_map=neuron 即可 |
這是素材中在 Trainium 上用張量平行跑文字生成的範例開頭，看它怎麼把模型分到多顆晶片上。
import torch_neuronx # noqa: F401dist.init_process_group(backend="neuron")world_size = dist.get_world_size()model = AutoModelForCausalLM.from_pretrained(MODEL_ID, dtype=torch.bfloat16, distributed_config=DistributedConfig(tp_size=world_size), device_mesh=DeviceMesh("neuron", list(range(world_size))),).eval()上一單元我們看了 AI 是跑在哪些晶片、怎麼推論的；這一單元換個角度，看 AI 反過來被派去當「資安偵探」，在全世界最常見的網站程式語言裡，揪出藏了十年以上的大漏洞。
事情是這樣的：資安公司 Wiz 的研究團隊，用最前沿的 AI 模型，在 PHP 的核心引擎裡找到多個嚴重漏洞，並把整件事命名為 PHP2Shell。PHP 是一種網站程式語言用來寫網站後台的程式語言，網頁上的會員登入、文章顯示常常都是它在幕後處理，素材指出全世界約 70% 的網站都在用它，WordPress、Joomla、Drupal，以及維基百科背後的 MediaWiki 都建立在它上面。
這些漏洞的嚴重之處，在於其中包含 RCE（遠端程式碼執行）壞人不用到你家，只要透過網路就能讓你的伺服器執行他寫的指令，等於把鑰匙交給對方，而且是「未經驗證」就能做到，也就是攻擊者連帳號密碼都不需要。另外還有記憶體洩漏程式不小心把自己工作時暫存的資料讀出來給外人看，裡面可能有密碼、登入憑證、API 金鑰和憑證檔的問題。素材特別強調，這是 PHP 本身的缺陷，跟你網站自己寫得好不好無關，就算網站程式碼很安全也可能中招。
影響範圍也很驚人：過去十年發佈的每個 PHP 版本，一路回溯到 5.4，至少都受其中一個漏洞影響。這些漏洞被歸入兩個 CVE（公開的漏洞編號），嚴重度最高達 CVSS 9.2（滿分 10 分的嚴重度評分）。PHP 已在 2026 年 10 月 21 日釋出修補，素材的建議很直接：立刻更新。
為什麼是 AI 做到的？素材的說法是，這些缺陷其實存在了很久，但要證明它們真的能被攻擊，得串起一條極度複雜的步驟，已經逼近人類研究員實務上能做到的極限。前沿 AI 大幅降低了這道門檻，把一個長期潛伏的缺陷變成真正可用的攻擊。另一份素材也提到，AI 越來越擅長把幾個看似無害的小錯誤串成嚴重攻擊。對一般使用者來說，這代表漏洞被找到、被利用的速度會變快，更新要更積極，不能拖。
| 事件 | 年份 | 暴露的問題 |
|---|---|---|
| Heartbleed | 2014 | 支撐網路安全的共用基礎設施其實很脆弱 |
| Log4Shell | 2021 | 軟體深埋的相依元件造成大範圍曝險，機構很難盤點自己有沒有中招 |
| PHP2Shell | 2026 | 語言核心引擎本身的缺陷，連應用程式寫得安全的網站也會受影響 |
上一單元我們看到 AI 能當資安偵探，把 PHP 裡藏了十幾年的嚴重漏洞挖出來，還串成可攻擊的步驟。偵探再厲害，也只能一個一個找；這一單元要問的是：有沒有辦法「證明」程式裡不會再有這類錯誤？
先看為什麼需要。Anthropic 的研究指出，連被測試得最徹底的軟體也有漏洞，例如 Linux 核心（裝在全球數十億台裝置上）最近就公開了超過 1,000 個漏洞。而且 AI 越來越會把幾個看似無害的小錯誤串成致命攻擊。換句話說，光靠「多測幾次」的老辦法已經不夠用了。
這時候就輪到 形式驗證不靠試跑，而是把程式翻成數學模型，再用數學推導證明它永遠遵守規定的安全規則。做法是：開發者先把程式翻譯成數學模型，再去證明它「一定」遵守事先訂好的安全規則。如果證不出來，就表示程式可能有錯誤會違反規則，而卡關的地方還會透露錯誤大概在哪。修掉原因、再證一次，反覆進行，最後就能得到「沒有任何會違反這些規則的錯誤」的證明。
測試與形式驗證的差別在於：測試是抽樣檢查，只能說「我試過的情況都沒事」；形式驗證是對所有情況下結論。素材裡有個很震撼的例子：Claude 在寫證明的過程中，找到了「躲過好幾年、即使跑了數兆次測試」都沒被發現的錯誤。
那為什麼以前很少人做？因為證明本身可能比原本的程式大上好幾倍，而且需要非常少數人才具備的專門技能。素材舉了 seL4 作業系統核心當例子：實作它花了 2 人年，但要正式驗證它卻花了 20 人年，差了十倍。所以過去只有極少數特別重要的專案負擔得起。
現在改變的是：Anthropic 與 Theorem 合作，用 Claude 在 100 多個真實的開源函式庫上證明了安全性質，而且是在 組合語言層級比一般程式碼更貼近硬體、機器真正執行的指令那一層（本研究用的是 RISC-V 這種處理器指令集）。研究團隊表示，據他們所知這是第一個用 AI 把形式驗證大規模套用到正式產品軟體、且做到組合語言層級的嘗試。
但也要保持清醒：這項成果證明的是「事先定義的那組安全規則」，不是「程式完全沒有任何問題」；規則訂得好不好，仍然需要人來判斷。素材也只說隨著模型能力持續提升，團隊「預期」形式驗證會成為安全軟體開發的重要一環，這是展望，不是已經普及的事實。
| 比較項目 | 一般測試 | 形式驗證 |
|---|---|---|
| 做法 | 實際執行程式，看結果對不對 | 把程式翻成數學模型，證明它遵守規則 |
| 能保證什麼 | 只能說「試過的情況沒問題」 | 能保證「不會有違反這些規則的錯誤」 |
| 過去的成本 | 相對容易，大多數專案都做得起 | 需要罕見的專門技能；seL4 驗證花 20 人年，實作僅 2 人年 |
| 素材中的例子 | Linux 核心被測試最多，仍公開了 1,000 多個漏洞 | Claude 在證明過程中找到跑了數兆次測試都沒抓到的錯誤 |
前面三個單元，我們看了 AI 怎麼跑在晶片上、怎麼當資安偵探、怎麼用數學證明程式沒問題；這一單元要問的是：AI 代理做完一件事之後，下次能不能做得更好？答案是可以，而且有兩條很實用的路。
第一條路是「學習記憶」。IBM 研究團隊做了一個叫 ALTK-Evolve 的方法：先讓 AI 客服代理去做一批練習任務，再請模型回頭檢視每次嘗試是成功還是失敗，把經驗濃縮成幾條短短的 行為守則像員工手冊裡的一條條規矩，例如「先確認客人身分才能動訂單」，最後把這些守則直接貼在代理的 系統提示詞每次對話開始前，先塞給 AI 看的一份工作說明書 後面。整個過程不需要重新訓練模型，也不需要人工標註。
成績很驚人。團隊用的是較舊、不具推理能力的 GPT-4.1，在 τ²-bench 零售客服測試中拿到 67.5% 的 Pass^4——意思是同一個任務連續 4 次獨立嘗試都全對，這樣的任務佔 67.5%。這個成績高於他們 2026 年 10 月 12 日排行榜快照裡所有零售項目。換句話說，把經驗整理成守則，比單純換更新的模型還有效。
這個測試很嚴格：每個任務都有一位由 AI 扮演的客人、一組可操作的工具（查訂單、退款、改航班）和一份必須遵守的政策文件，只有最後資料庫狀態完全吻合預期才算過關，沒有半分。所以守則裡寫的多是「先驗證身分，沒有 email 就用姓名加郵遞區號查」這類實戰細節。
第二條路是 Anthropic 提出的 Agent Skills。一個技能就是一個資料夾，裡面放一份 SKILL.md，教代理做某項特定工作，旁邊還能附上需要的腳本和參考資料。它源自 Claude Code 缺少真實商業工作所需的「流程知識」這個痛點，2025 年 12 月公開成開放標準後，已有 70 多個平台（包含 ChatGPT、Cursor、GitHub Copilot、VS Code）採用，累計發布 100 萬個技能、安裝近 2.8 億次。
為什麼「開放標準」重要？因為技能寫一次，各家代理都能讀。Anthropic 因此把它捐給 Linux Foundation 旗下的 Agentic AI Foundation（AAIF），讓名稱、標誌、GitHub 組織與網域都歸中立單位，Anthropic、Google、OpenAI 等公司的工程師以個人身分共同維護；接下來的路線圖包含版本化發布、正式提案流程，以及給技能作者與安裝者的安全指引。兩條路合起來看：記憶讓代理從經驗中長智慧，技能讓代理照著可攜帶的流程做事。
| 比較項目 | ALTK-Evolve 學習記憶 | Agent Skills 技能 |
|---|---|---|
| 知識來源 | 從代理自己的成功與失敗經驗中整理 | 由人（或社群）寫成 SKILL.md 與附件 |
| 形式 | 一段條列守則，附在系統提示詞後 | 一個資料夾，含 SKILL.md、腳本、參考資料 |
| 是否需訓練模型 | 不需要，也不需人工標註 | 不需要 |
| 可攜性 | 跟著該代理的提示詞走 | 開放標準，70 多個平台可用 |