🎓 AI-LECTURER 週末主題課|2026-10-04|約 150 分鐘(可分次讀)
AI 代理時代的一週:從更強的模型到「說到做到」的 AI
彙整本週素材:Sonnet 5.5、Introducing Olmo-core 3: Open, scalable 、The Agent Said It Was Done. The Database、Calling the AI bluff: Adding "Do no、Aleph Alpha Kolibri: How the sovereign G、Getting the most out of Opus 5.5 in Clau
📍 真實場景
小安,剛接手公司客服工單系統的行政助理,會一點 Excel 但沒寫過程式
老闆要她評估用 AI agent 自動處理客服工單,並從市面上一堆新模型中挑一個來用
😖 卡住的地方:新模型名稱滿天飛、不知道差在哪;AI 回報『已完成』卻常常沒真的做完,或是憑空編出內容,她不敢放心交給它
💡 這門課帶她看懂新一代模型的運作原理,學會下對指令、驗證結果,讓 AI 真正可以放心使用
📑 單元導航(進度會自動記住,可分次讀) 第 1 單元|新一代模型登場:Sonnet 5.5 與 Opus 5.5 帶來什麼改變 第 2 單元|模型內部怎麼運作:混合專家(MoE)架構 第 3 單元|怎麼跟 AI 下指令:把任務與完成標準一次講清楚 第 4 單元|AI 說做完了,真的做完嗎?驗證 agent 的最終結果 第 1 單元|新一代模型登場:Sonnet 5.5 與 Opus 5.5 帶來什麼改變
🧭 本單元白話講
想像你把一件要忙好幾個小時的工作交給 AI,然後自己去做別的事。以前這很難,因為 AI 常常做到一半就停下來,或是做完了卻沒做對。這一週的主角是 Anthropic 推出的兩個新模型:Claude Sonnet 5.5 和 Claude Opus 5.5。它們都屬於 Claude 5.5 這個家族,而且官方提到,Haiku 5.5(主打大量、省錢的用途)也預告幾週內加入。
為什麼說 AI 更能「自己跑完長任務」?Opus 5.5 的官方使用指南說,它相較前代最大的進步在多步驟的工作,例如把一項修改貫穿整個大型程式庫,直到 測試程式設計師寫的自動檢查,用來確認程式改完之後還能正常運作 全部通過。早期測試者讓它連續跑好幾個小時的程式任務,幾乎不用盯著。指南也提到,只要你把「完成的標準」講清楚,它就知道什麼時候算做完。
Sonnet 5.5 的進步則是又快又省。官方說它比 Sonnet 5 生成速度快 30% 以上,而且大多數工作的成本最多可降低 30%。它的價格表沒有變:每百萬個輸入 tokenAI 讀寫文字時的計量單位,大約是一個字或半個字 收 2 美元,每百萬個輸出 token 收 10 美元。省錢的原因是完成同一件事通常只需要少很多 token。成績方面也有大幅進步:在 Terminal-Bench 4.0 這項 代理式程式評測讓 AI 像員工一樣自己操作電腦、寫程式、解決問題的考試 中,Sonnet 5.5 拿到 70.6%,Sonnet 5 只有 10.3%。
兩者怎麼選?官方的說法很明確:Sonnet 5.5 最擅長範圍明確的日常任務、修 bug,以及製作漂亮的文件、簡報和試算表。Opus 5.5 則是為需要細心判斷的複雜工作而生。官方還特別提醒:有幾項測驗中,開到 Max 努力等級的 Sonnet 5.5 表現可以跟 Opus 5.5 相當,但分數只反映一部分,在自家與外部測試者的實測裡,需要長時間判斷的開放式工作,Opus 5.5 仍然明顯比較強。
對你來說,實用的結論是:任務範圍小、要快、要省,就選 Sonnet;任務大、模糊、需要一路做判斷,就選 Opus。不論選哪個,下一個單元會談到的重點都一樣,就是要把任務和完成標準一次講清楚。
⚙️ 脈絡拆解 1
先判斷任務的性質 這件事範圍明確、步驟清楚嗎?像修一個 bug、做一份文件,就屬於日常任務。如果是很開放、要一路做判斷的複雜工作,就屬於另一類。
▼
2
日常任務交給 Sonnet 5.5 它快 30% 以上、單件任務成本最多少 30%,適合快速來回修改、不太複雜的事。
▼
3
複雜長任務交給 Opus 5.5 需要持續判斷的開放式工作,官方實測 Opus 5.5 仍明顯較強,而且能連續跑好幾個小時。
▼
4
把完成標準寫進指令 例如「測試全部通過」「每個端點都換成新的」。有清楚的終點線,模型才知道什麼時候算做完。
Sonnet 5.5 與 Opus 5.5:依素材整理的定位差異
項目 Sonnet 5.5 Opus 5.5 官方定位 更快、更省,Opus 5.5 的補充選項 為需要細心判斷的複雜工作而生
擅長場合 範圍明確的日常任務、修 bug、做文件/簡報/試算表 需要持續判斷的複雜、開放式工作;長時間多步驟任務
Terminal-Bench 4.0(代理式程式評測) 70.6%(Sonnet 5 為 10.3%) 66.4%
CursorBench 4.0(代理式程式評測) 55.5% 57.8%
速度與成本 比 Sonnet 5 快 30% 以上;每件任務成本最多少 30% 素材未提供
🧠 工程思維透鏡(資深工程師看到的是什麼)
🔭 Sonnet 5.5 在 Terminal-Bench 4.0 的分數比 Opus 5.5 還高,是不是代表 Sonnet 就比較強、不用選 Opus?
不是。官方自己提醒,分數只捕捉模型能力的其中一面。他們在內部和外部測試者的實測中,Opus 5.5 在需要長時間判斷的複雜、開放式工作上仍然明顯較強。同一份表格裡,Opus 5.5 在 CursorBench 4.0 和 FrontierCode 1.1 也領先 Sonnet 5.5。所以評測分數是參考,不是選模型的唯一依據,要看你的任務是範圍明確還是需要持續判斷。
🔭 Sonnet 5.5 的價格表沒變,為什麼還能說它「更省」?
因為費用等於單價乘上用量。單價(每百萬 token 的收費)維持跟 Sonnet 5 一樣,但素材說它完成同一件事通常需要少很多 token。所以每件任務的成本最多降低 30%。以後比較模型貴不貴,不能只看價目表,也要看做完一件事實際用了多少 token。
📝 隨堂考(點選答案,立即回饋)
Q1. 你要請 AI 修一個範圍很明確的小 bug,而且希望回應快、成本低。依素材,哪個選擇最合適?
Sonnet 5.5,它擅長範圍明確的日常任務與修 bug,又快又省
Opus 5.5,因為任何任務用它都一定最便宜
都不適合,這類任務只能靠人工處理
✅ 素材指出 Sonnet 5.5 最擅長範圍明確的日常任務與修 bug,比 Sonnet 5 快 30% 以上,單件成本最多少 30%。Opus 5.5 是為需要細心判斷的複雜工作而生,不是以便宜為賣點。
Q2. Opus 5.5 能自己跑很久把事情做完,素材中最關鍵的使用方式是什麼?
每做一步就停下來問它進度
一次把整個任務講清楚,並說明完成標準,例如「測試全部通過」
在每次提問時都加上「請一步一步仔細思考」
✅ 官方指南建議把整個任務放在一則訊息裡,並說清楚終點線,之後讓它自己跑。同時它每次回覆前都會自己思考,指南反而建議刪掉「think step by step」之類的句子。
第 2 單元|模型內部怎麼運作:混合專家(MoE)架構
🧭 本單元白話講
上一單元我們看了新一代模型登場,你可能注意到:模型越來越強,卻也越來越大。這一單元要回答一個疑問:模型那麼大,為什麼還能又快又省?答案藏在一種叫 混合專家(MoE)把模型拆成很多個「專家」小模組,每次只叫其中幾個出來工作的設計 的架構裡。
先用一個比喻。想像一間大醫院,有幾十位不同科別的專科醫師,但你掛號看診時,只會被分配到最相關的幾位,而不是全部醫師同時圍著你。醫院的「總人才量」很大,但你這次真正動用的人力很少。MoE 模型也是這樣:它有很多個專家,每讀或寫一個 token語言模型處理文字的最小單位,大約是一個字或半個詞 ,只會挑出少數幾位專家來運算。
看真實數字會更有感。德國 Aleph Alpha 在 2026 年 10 月 3 日發表的開放權重模型 Kolibri,總參數是 781 億(78.1B),但每個 token 只動用約 34.6 億(3.46B),也就是只用到 4.4%。參數模型裡被訓練出來的數字,可以想成模型「腦中的知識量」 多代表容量大、能記住更多東西;而每次只啟用一小部分,代表運算量接近一個 35 億參數的小模型,所以速度快、成本低。順帶一提,它的權重檔約 78 GB(8 位元浮點數格式),這代表「全部專家仍然要放進記憶體」,省的是運算,不是存放空間。
那專家變多,會不會把效率吃掉?Ai2 釋出的開源訓練工具 Olmo-core 3 做了一個很直接的實驗:把專家數量從 8 個增加到 128 個,但每個 token 仍然只選 4 個專家,所以每次啟用的參數約維持在 32 億。結果總參數從 46 億暴增到 470 億,訓練速度卻只掉不到 5%。這說明「專家池變大、每次只叫幾個」這個設計,真的能讓容量成長而不拖垮效率。
不過 MoE 也有代價。Ai2 指出,整個模型仍要存放在 GPU 記憶體中,而且要把每個 token 送到正確的專家那裡,在大型叢集中會產生額外的通訊與協調成本。模型越大,這些成本就越可能吃掉「只用部分專家」帶來的好處。Olmo-core 3 的做法是讓專家常駐在 GPU 上、把資料送過去,而不是反覆搬運權重;在初步測試中,47B 的 MoE 每張 GPU 每秒處理 52,000 個 token,約是舊作法 19,400 的 2.7 倍。
⚙️ 脈絡拆解 1
文字被切成 token 模型讀進一句話時,先把它拆成一個個小單位,後面每個 token 都各自走一遍流程。
▼
2
路由挑選專家 系統為每個 token 決定該找哪幾位專家,例如 128 位裡只挑 4 位。
▼
3
只有被選中的專家運算 其他專家這一輪完全不動,所以實際計算量只有總參數的一小部分(Kolibri 約 4.4%)。
▼
4
合併結果、進入下一層 被選中專家的輸出合併後交給下一步,下一個 token 再重新挑選一次。
兩份素材中的 MoE 實例:總量很大,每次只用一小部分
項目 Kolibri(Aleph Alpha) Olmo-core 3 實驗(Ai2) 總參數 78.1B 從 4.6B 擴大到 47B
每個 token 動用的參數 約 3.46B(4.4%) 約 3.2B(固定)
專家選擇方式 素材未詳述 128 個專家中每個 token 選 4 個
重點結果 速度快、成本低,支援德英雙語 總容量成長約 10 倍,訓練速度只降不到 5%
🧠 工程思維透鏡(資深工程師看到的是什麼)
🔭 「總參數很大」和「每次動用的參數很小」,哪一個決定模型的聰明程度、哪一個決定速度?
兩者各管一邊:總參數像醫院的人才庫,決定模型能容納多少知識;每次啟用的參數像你這次實際看診的醫師數,決定每個 token 要算多少,也就是速度與成本。Olmo-core 3 的實驗正好示範:啟用量固定在約 3.2B,總量從 4.6B 拉到 47B,速度幾乎沒變。因此看一個 MoE 模型,要同時看兩個數字,只看其中一個會誤判。
🔭 MoE 真的是「免費的午餐」嗎?
不是。省下的是每次運算的量,但 Kolibri 的權重仍需約 78 GB 的記憶體,而且 Ai2 也指出專家分散在叢集時會有通訊與協調成本。所以 MoE 的取捨是:用更多的存放空間與工程複雜度,換取更低的單次運算成本。
📝 隨堂考(點選答案,立即回饋)
Q1. Kolibri 總參數 78.1B,每個 token 只動用約 3.46B,這代表什麼?
它的權重檔只需要 3.46B 的記憶體就能放下
每次運算只用到一小部分專家,所以速度快、成本低
模型其實只有 3.46B 的知識量
✅ MoE 省的是每個 token 的運算量。但全部專家的權重仍要存放(約 78 GB),所以不是只需 3.46B 的記憶體,容量也不是只有 3.46B。
Q2. Olmo-core 3 把專家從 8 個增加到 128 個、每個 token 仍選 4 個,結果最接近下列哪一項?
總參數從 4.6B 增至 47B,訓練速度掉不到 5%
總參數不變,訓練速度變快 2.7 倍
每次啟用的參數隨專家數增加而暴增
✅ 因為每個 token 仍只選 4 個專家,啟用參數維持約 3.2B,所以總容量大幅成長,速度幾乎不受影響。2.7 倍是新訓練系統相對舊實作的提升,是另一個實驗。
第 3 單元|怎麼跟 AI 下指令:把任務與完成標準一次講清楚
🧭 本單元白話講
上一單元我們看到,混合專家(MoE)架構讓模型內部能依任務分派不同「專家」處理。模型內部再厲害,最後還是要靠你下的指令來發揮——這一單元就來學怎麼把指令下對。
官方教學(Opus 5.5 使用指南)的第一個建議很直接:整個任務在一則訊息裡一次講完,並且說清楚「終點線」,例如「測試全部通過」或「每個端點都已搬完」,然後放手讓它做。原因是 Opus 5.5 在多步驟、長時間的工作上比前代更能持續跑下去,早期測試者甚至讓它跑好幾個小時的程式任務、幾乎不用盯。有了明確的完成標準,它就知道自己什麼時候算做完。
舉個官方範例:「把付款端點從舊的客戶端搬到新的。完成的定義是:每個端點都用新客戶端、舊客戶端已刪除、測試全數通過。只有在測試失敗且你無法解釋原因時才停下來問我。」你會發現這段話包含三件事:任務、完成標準用來判斷『做完了』的具體條件,不是『做好一點』這種模糊感覺 ,以及什麼情況才需要打斷你。
第二個建議是反直覺的:把「請仔細思考」「一步一步想」這類句子刪掉。官方說明 Opus 5.5 每次回覆前一定會先思考,而且自己決定要想多久;他們在聊天產品的測試中,拿掉「think carefully」之後回覆更快開始,品質沒有明顯下降。如果只是簡單問題,直接寫「直接回答」即可。
另一個獨立測試則針對 AI 最讓人頭痛的問題:幻覺AI 在不知道答案時,自己編出一個看起來很像真的內容 。研究者設計成對的網頁,一頁有答案、另一頁少了那一欄(還放了舊價格這類誘餌),要求 AI 擷取資料。只要在提示詞加上一句「查無的欄位填 null,不要猜(Do not guess)」,編造欄位的比例就從約 70.7% 降到 20.2%。這句話成本幾乎是零,卻等於告訴 AI:『不知道』是合法答案。
⚙️ 脈絡拆解 1
寫出完整任務 把整件事一次說完,不要拆成「先做這個、再做那個」的逐步引導。
▼
2
訂下終點線 用可檢查的條件定義做完,例如「測試通過」「每個端點都已遷移」。
▼
3
允許說不知道 加一句「沒有就填空值(null),不要猜」,避免 AI 為了交差亂編。
▼
4
說明何時要停下來問 例如「只有測試失敗且無法解釋原因時才問我」,其餘讓它自己跑完。
▼
5
刪掉多餘的思考咒語 移除「一步一步想」,簡單問題改寫「直接回答」。
舊習慣 vs. 新做法(依素材整理)
情境 舊習慣 建議做法 交付任務 分很多輪、一步一步帶著做 一則訊息講完整任務,並寫明完成標準
要它想清楚 加「think step by step」 刪掉這句;簡單題寫「直接回答」
資料可能不存在 沒交代,AI 容易硬湊 寫「沒有就填 null,不要猜」
做到一半想補充 停掉重來 直接輸入追加訊息,不必重啟
🧠 工程思維透鏡(資深工程師看到的是什麼)
🔭 為什麼「完成標準」比「怎麼做的步驟」更有用?
當 AI 能長時間自主工作,逐步引導反而成為瓶頸;而可驗證的終點線(測試通過、舊客戶端刪除)讓你事後能直接檢查結果。這也預告下一單元的主題:AI 說做完了,我們要用同樣具體的標準去驗證。
🔭 「不要猜」為什麼能降低亂編?
AI 預設傾向給出答案。測試中,在同樣的任務下,多數模型沒有這句話時有一半以上的欄位被編造;加上後多數降到三成以下。這說明明確允許「留空」,是比期待模型自己誠實更可靠的做法。
📝 隨堂考(點選答案,立即回饋)
Q1. 依官方建議,下指令給 Opus 5.5 時最重要的做法是什麼?
把任務拆成很多小步驟逐一下指令
一次講完整任務,並寫明可檢查的完成標準
每則指令都加上「請一步一步仔細思考」
✅ 官方第一個建議是整個任務一次講完並指出終點線;「一步一步想」則建議刪掉,因為模型每次回覆前本來就會思考。
Q2. 在網頁擷取測試中,加上「欄位不存在就填 null,不要猜」後,編造欄位的比例大約怎麼變化?
從約 70.7% 降到 20.2%
從約 20.2% 升到 70.7%
幾乎沒有變化
✅ 素材標題與內文都指出,加入這句指令後編造比例從 70.7% 降到 20.2%。
第 4 單元|AI 說做完了,真的做完嗎?驗證 agent 的最終結果
🧭 本單元白話講
上一單元我們學會把任務和完成標準一次講清楚;這一單元要問的是下一個問題:就算你講得很清楚,AI 回報「做完了」,你要怎麼確定它真的做完?
先看一個真實案例。有位顧客的 745 美元廚房電器卡在物流「例外」狀態,已經比預計送達日晚了 15 天。AI 客服 agent 做事很仔細:一共 9 次工具呼叫,查訂單、查物流、查顧客資料、查了兩次退款政策、確認沒有既有工單、開了一張新工單、記錄時間線,連政策也讀對了(她的帳號等級確實不符合延遲補償資格)。最後它把工單標成「已解決」,還回覆「您的問題已解決,還有什麼我能協助的嗎?」
問題出在哪?物流例外其實還沒排除,這張工單正確的最終狀態應該是「暫緩、等待處理」,而不是「已解決」;顧客也沒有得到她真正想問的答案。重點是:如果只檢查 工具呼叫AI 為了做事而去操作系統的每一個動作,例如查訂單、開工單 ,9 次都格式正確;如果只檢查「有沒有寫入資料庫」,它也確實有寫。只有去看資料庫裡那一個欄位,才會發現 status 是 solved,而要求的是 hold。
這就是微軟與 Hugging Face 的 ThinkingBox 評測法的核心:不評 AI 講了什麼、也不評它做了哪些動作,而是讓 agent 在隔離的環境裡操作,結束後直接檢查 終態任務跑完之後,資料庫裡實際留下來的資料與狀態 和副作用(多改了不該改的紀錄、多產生了不該有的東西)。他們用 507 個有狀態的商業流程、每個跑 20 次來測。
數字很驚人:在 12 個模型、121,680 次有效試驗中,有 79,853 次沒通過可執行的檢查;而這些失敗裡,有 67.24% 看起來都很「正常」:agent 乾淨地結束、有呼叫會改資料的工具、也沒有回報任何工具錯誤。換句話說,大多數失敗不會報錯,它們只是安靜地做錯。
另一份素材給了第二個警訊:AI 傾向「補答案」。在網頁擷取測試中,頁面上其實沒有某個欄位(只有舊價格之類的誘餌),沒被要求不准猜時,許多模型編造的比例很高;在提示詞加一句「沒有就填 null,不要猜」之後,整體編造欄位比例從 70.7% 降到 20.2%。但就算加了這句,各模型仍有高低差異(例如 Solar Pro 4 仍有 19/36 編造),所以它能降低風險,卻不能取代驗收。
把兩個案例合起來,你可以建立自己的驗收習慣:第一,事先寫下「完成」應該長什麼樣(呼應上一單元);第二,任務結束後不要只讀 AI 的回報,直接打開結果去看——資料庫那個欄位、檔案內容、實際寄出的訊息;第三,對可能沒有答案的任務,明確允許 AI 說「沒有」;第四,重要任務多跑幾次,因為一次成功不等於穩定可靠。
⚙️ 脈絡拆解 1
先寫下終態 任務開始前,用一句話寫出「做完」時結果應該是什麼樣子,例如「工單狀態必須是暫緩」。
▼
2
讓 AI 去做 AI 呼叫工具、處理流程,最後給你一句「完成了」。這句話只是參考,不是證據。
▼
3
直接檢查最終結果 自己打開資料庫、檔案或訊息,對照第一步寫下的終態,看欄位是否正確、有沒有多出不該有的改動。
▼
4
允許 AI 說不知道 在提示詞明寫「沒有就填空值,不要猜」,減少為了交差而編造的內容。
▼
5
重要任務重複驗證 同一任務多跑幾次,確認每次結果都一致,才算真的可靠。
三種「驗收」方式能抓到什麼(以工單案例為例)
驗收方式 看的是什麼 能否抓到 solved vs hold 的錯? 只看 AI 的回覆 AI 說了什麼 不能:回覆聽起來很合理
檢查工具呼叫 9 次呼叫是否格式正確 不能:每一次都正確
檢查是否有寫入資料庫 有沒有動資料 不能:確實有寫入
檢查資料庫終態 status 欄位的實際值 能:solved ≠ 要求的 hold
🧠 工程思維透鏡(資深工程師看到的是什麼)
🔭 為什麼「過程看起來都對」反而更危險?
案例中的 agent 9 次工具呼叫都合理、政策也讀對,最後卻在一個欄位上出錯。素材數據顯示,67.24% 的失敗都是「乾淨結束、有改資料、沒有任何錯誤訊息」。這代表錯誤不會自己跳出來提醒你,過程漂亮只會讓你更放心,所以驗收一定要看結果本身,而不是看過程像不像在認真做事。
🔭 「不要猜」這句提示詞,和驗收是什麼關係?
它是事前預防,驗收是事後把關。加上「不要猜」讓編造比例從 70.7% 降到 20.2%,效果很大,但剩下的兩成仍會發生,而且各模型表現不一。兩者要搭配使用:提示詞降低出錯機率,終態檢查抓住剩下漏網的錯。
📝 隨堂考(點選答案,立即回饋)
Q1. 工單案例中,為什麼只檢查 AI 的 9 次工具呼叫抓不出錯誤?
因為工具呼叫每一次本身都格式正確,錯的是最後資料庫裡的狀態欄位
因為 AI 根本沒有呼叫任何工具
因為資料庫沒有被寫入任何東西
✅ 9 次呼叫都正確,AI 也確實寫入了資料庫;錯在寫進去的 status 是 solved,而要求的終態是 hold。只有檢查終態才看得出來。
Q2. 在網頁擷取測試中,加上「沒有就填 null,不要猜」之後,結果最適合怎麼解讀?
編造問題已完全消失,之後不需要再驗收
編造比例大幅下降(70.7% 降到 20.2%),但仍需要驗收剩下的錯誤
這句話對所有模型的效果完全相同
✅ 編造比例明顯下降但並非歸零,且各模型表現不同(有些仍有超過一半編造),所以它是降低風險的好方法,卻不能取代對最終結果的檢查。
ai-lecturer 主題課|藍圖 weekly-topic-v1.0|零外部依賴