AI-LECTURER 速報課|2026-07-20|約 25 分鐘

為什麼砸錢換模型沒用?資深工程師都在做的「情境工程」

取材:Harness Engineering(Hacker News(AI 高人氣))
📍 真實場景
一位新創公司的資深後端工程師

正在把 AI coding agent(像 Claude Code、Codex 這種能自己讀寫程式、執行指令的 AI 代理人)導入公司的開發流程,讓它幫忙修 bug、寫測試、開 PR

😖 卡住的地方:換了好幾次更貴更強的模型,AI 產出還是常常「答非所問」——不懂公司內部規範、不知道哪些寫法是團隊禁忌,PR 一直被打回票,工程師花在審核上的時間比自己寫還久
💡 這課會告訴他問題可能根本不在模型,而在「有沒有把公司內部知識鋪好路給 AI 走」——這套做法叫「情境工程(Harness Engineering)」

🧭 這到底是什麼(白話版)

這篇文章講的是一個叫做 Harness Engineering(情境工程)把「餵給 AI 的資料、能用的工具、周遭規範」設計好,而不是換一顆更貴的模型 的做法。核心想法很反直覺:作者故意把 AI 模型和 coding agent 當成 黑盒子把一個東西當作「不用管內部怎麼運作,只看丟進去、拿出來的結果」——完全不去換模型、不去微調,而是專心把模型「周圍」的兩根槓桿轉緊:一是給它的資訊(context),二是給它能用的工具。

為什麼周邊環境比模型本身重要?因為每個組織都有一堆「這個系統這樣做才對」的隱藏規矩,文章稱之為 非功能性需求除了「功能做出來了沒」之外,還要顧到的安全性、可維護性、效能、風險等隱藏規矩,包括可靠度、資安、相容性、好不好維護、效能、好不好操作、風險承受度,還有整體的精緻程度。這些規矩通常只存在老工程師的腦袋裡、內部 wiki,或者「大家都知道不能這樣寫」的默契中,從來沒有寫成 AI 讀得懂的文字。

作者用一個很生動的比喻:通用模型的權重(訓練完之後模型記住的東西)只看得到組織知識的 冰山比喻表面看得到的只是一小部分,海面下才藏著更大量看不到的知識與規則一角,海面下才是真正龐大的部分——現在系統跑到哪個狀態、公司自己一套的 本體論(ontology)一個組織內部對「這些名詞、這些流程分別代表什麼」的一套共同定義方式(例如「我們公司講的客戶特別指哪一種人」)、品質底線在哪、以前踩過哪些雷、誰有權限拍板。情境工程要做的,就是把這些藏在海面下的東西,變成 AI 代理人拿得到、看得懂的上下文跟工具,這是屬於 Last-mile 工程把一個通用的東西,加工成能直接在你家、你公司使用的最後一段客製化工程 的工作——把一個什麼都懂一點的通用模型,加工成「懂我們公司規矩」的可用員工。

更關鍵的是,這件事可以越做越好:因為工作是不斷重複的迭代賽局,每一次 AI 產出被接受、被打回票、出錯,或使用者給了回饋,都可以變成下一次的情境、界線、工具、範例和檢查點,讓組織的判斷力隨時間累積,而不是每次都從零開始教一次。

🎯 為什麼值得你花時間

省下的是最貴的資源——工程師的審核時間文章的重點不是讓 AI 寫得更快,而是讓工程師不用重新讀懂問題、否決錯誤方案、再解釋一次。情境沒鋪好,AI 產出再快也只是把審核工作量轉嫁給人。
護城河在組織知識,不在模型參數換更貴的模型不會讓 AI 自動知道你們公司的內部規範跟踩過的雷。真正的優勢是把這些私有、會變動的流程知識變成可檢索、可執行的上下文,這是競爭對手複製不走的部分。
沒有證明的產出,人只能重做一次文章強調 agent 要能「證明結果」。如果 AI 只丟出一段程式碼卻沒有測試、沒有引用規範、無法被追溯,審核的人等於要重新驗證一遍,等同於自己重做。

⚙️ 它是怎麼運作的

1
回復意圖情境工程要讓 AI 代理人搞懂這個任務真正要解決的問題是什麼,而不是照字面執行,避免像案例中把時區 bug 誤判成 session 過期。
2
操作真實系統給 AI 真正能用的工具去讀寫、執行、驗證,而不是只讓它憑空腦補程式碼長什麼樣子。
3
尊重權限把「誰可以拍板、哪些改動需要誰同意」寫進環境裡,AI 才不會做出踩線的決定,例如擅自改動需要主管簽核的付款邏輯。
4
證明結果產出要附帶可驗證的證據,像是測試通過紀錄、規範引用,而不是一句「我改好了」要人全部重新檢查一遍。
5
讓下一輪更好把這次學到的教訓寫回情境,例如補進團隊的規範文件,讓下一個任務的 AI 代理人不用重蹈覆轍。

🛠️ 動手做:情境等級比一比:同一個任務,AI 產出差多少?

  1. 先點選一個「情境等級」按鈕
  2. 按下「執行 AI 修復」
  3. 觀察 AI 產出內容、需要的人工審核時間,以及品質評分
  4. 依序試過三個等級,比較差異在哪裡
👇 下面是活的,直接操作

🧠 工程思維透鏡(資深工程師看到的是什麼)

🔭 為什麼作者堅持把模型和 coding agent 當「黑盒子」鎖死,而不是拿去比較哪顆模型比較聰明?
這是一個工程取捨:模型選型的效益常被干擾變數蓋掉——如果情境和工具沒鋪好,再聰明的模型也會答非所問;反過來說,鋪好情境常常讓便宜的模型也能穩定產出高品質結果。把模型當常數,是為了把有限的工程資源,投資在複利更高的槓桿(情境與工具)上,而不是每次追逐最新模型徒增整合成本。
🔭 為什麼「讓下一輪更好」這件事,作者堅持要寫進系統(情境、工具、檢查),而不是相信工程師自己會記得?
這反映一個資深工程判斷:依賴人腦記憶的知識會隨著人員流動、時間流逝而蒸發,而且不同工程師記得的版本會分岔、彼此矛盾。把教訓寫成可執行的上下文(例如規範文件、範例、自動檢查),代表這個知識變成組織資產,不會因為某個人離職或忘記而失效,這正是文章說的「讓組織判斷力可以累積」的具體做法。
🔭 文章說 code 是「agent 使用電腦的內部行動語言」,這句話對「要不要人工審查每一行 AI 寫的程式碼」隱含了什麼權衡?
如果情境工程做得夠扎實——目標、權限、驗證都內建在環境裡——code 本身可以只是達成目的的手段,讓從沒讀過程式碼的人也能因為有清楚的證明流程(測試、審核紀錄)而放心採用結果。這是把信任的來源,從「逐行看得懂程式碼」轉移到「有沒有嚴謹的證明機制」,代價是一旦證明機制本身有漏洞,風險會更隱蔽、更難靠人工肉眼抓到。

📝 隨堂考(點選答案,立即回饋)

Q1. 情境工程(Harness Engineering)主要改善 AI 產出品質的方式是?
✅ 文章開宗明義說,情境工程把模型和 coding agent 當黑盒子不變,改善的是外部的兩根槓桿:情境與工具,而不是換模型。
Q2. 文章中的「非功能性需求」包含哪些面向?
✅ 文章列出了 reliability、security、compatibility、maintainability、performance、operability、risk posture、polish 這一整串品質屬性。
Q3. 為什麼作者用「冰山」比喻通用模型的權重?
✅ 文章強調通用模型權重只包含組織流程資料的表面一角,私有、會變動的流程資料不會自動出現在通用模型裡。
Q4. 情境工程賦予 AI 代理人的責任中,「證明結果」的目的是?
✅ 文章提到最後一哩的部署要提供組織的情境、能力、權限與證明,證明讓不審查實作的人也能安心採用結果。
Q5. 關於「組織判斷力隨時間累積」,文章認為關鍵機制是什麼?
✅ 文章寫道,被接受的工作、修正、失敗與使用者回應中學到的教訓,會變成情境、界線、工具、範例和檢查,形塑後續的行為軌跡。

🃏 翻牌記憶卡(先想答案,再點開對答)

情境工程(Harness Engineering)點我翻面
不換模型,改善 AI agent 周遭的情境與工具,藉此提升產出品質的做法
黑盒子(black box)點我翻面
把模型和 coding agent 當作常數不動,只調整外部的情境與工具兩根槓桿
非功能性需求點我翻面
可靠度、資安、相容性、可維護性、效能、可操作性、風險承受度、精緻度等隱藏品質規矩
冰山比喻點我翻面
通用模型權重只看得到組織知識的一小角,海面下是大量私有、會變動的流程資料
Last-mile 工程點我翻面
把通用模型客製化成「懂我們公司規矩」的最後一段加工
累積的組織判斷力點我翻面
把每次工作的教訓(接受、修正、失敗、回饋)寫回情境與工具,讓下一輪自動變好

✅ 離開前自測(全勾=這課真的學會了)

0%