📍 真實場景
林俊安，接案十年的一人軟體工作室老闆
最近開始讓 AI coding agent 自己接 API、跑測試腳本，甚至半自動地處理客戶的 GitHub Issue，好讓自己能同時接更多案子
😖 卡住的地方：他完全不知道自己每天在用的 AI coding 工具，「自主能力」跟「資安風險」真正的分界線畫在哪裡，也看不懂 OpenAI 這種官方公告裡「危急門檻」到底是什麼意思，會不會哪天自己工作室用的工具也踩到類似的線
💡 這堂課會教他 OpenAI 官方拿什麼具體判準決定一個模型「危不危險」，並且讓他實際套用同一套判準，練習判斷不同情境下的風險等級——順便回頭檢查自己工作室用的 AI coding 工具，站在哪個等級上
🧭 這到底是什麼（白話版）
這篇文章是 OpenAI 官方部落格公告：他們正在測試的下一代模型「Astra」，在內部評估中展現出的代理式寫程式agentic coding，意思是 AI 不只是幫你補完一行程式碼，而是能自己規劃步驟、呼叫工具、一路把一個任務從頭做到尾 與資安攻擊能力，強到已經無法排除觸及他們自訂的「危急」等級。這是 OpenAI 從 2023 年底建立準備框架Preparedness Framework，OpenAI 內部用來預先定義「AI 能力進步到什麼程度、公司該做什麼因應措施」的規範文件 以來，首次有模型可能踩到資安領域的最高風險線。
白話一點說：這不是「AI 又變聰明了」這種行銷式宣傳，而是 OpenAI 自己在說「我們的新模型可能已經強到能自己找到並且打穿目前業界公認已經做好防禦的系統」。文中定義的「危急」等級有兩個判準，符合其中一個就算：第一，模型能在完全沒有人類介入的情況下，對多個已經強化過的正式關鍵系統，找到並開發出各種嚴重程度的零時差漏洞zero-day exploit，指的是廠商自己都還不知道、還沒修補的系統漏洞，攻擊者搶先一步找到就能長驅直入 攻擊；第二，模型只要拿到一句話等級的高層次目標，就能自己設計出一套全新、完整的攻擊策略並執行到底，不需要人類手把手教它下一步該做什麼。
因為評估結果逼近這條線，OpenAI 說他們連夜就做出結論，並選擇公開透明地說明。同時他們也加嚴了內部管控：把測試環境隔離開來、限制模型能連的網路與能用的工具、加強模型權重model weights，訓練完成後模型「腦袋裡的參數」，等於是這個 AI 的核心資產，被偷走等於整個模型被複製走 的加密保護、對所有 agent 應用（包括訓練和評估階段）都加上思維鏈Chain of Thought，AI 在給出最終答案前，內部逐步推理、自言自語式的思考過程 監控，一旦偵測到高風險行為就觸發警報去中斷它，並且先暫停不符合這些強化標準的內部專案。
🎯 為什麼值得你花時間
風險評估不是行銷詞，是有具體判準的 Preparedness Framework 把風險分成低／中／高／危急四級，「危急」有兩條明確的技術判準，不是官方隨口說一句「這個很危險」就算數。
連 OpenAI 自己都在後面追安全性 OpenAI 公開承認新模型的能力已經逼近他們自己都還沒完全補齊防護的等級，這代表整個產業的能力進展速度，可能比防護補齊的速度還快。
這跟你每天在用的工具有關 只要你在用 AI coding agent 幫忙寫程式、跑腳本、自動化工作，你就是「下游使用者」，理解這套判準能幫你判斷自己該給 AI 工具多少自主權限。
⚙️ 它是怎麼運作的
1
建立能力等級表 OpenAI 在模型上線前就先定義好低／中／高／危急四個等級，在生物、化學、資安、AI 自我增強四個領域都有各自的具體判準。
▼
2
內部評估 新模型訓練到一定階段，安全團隊會用一連串測試題目和真實情境去「考」這個模型，看它在資安任務上實際能做到什麼程度。
▼
3
專家複核 光靠自動化測試分數不夠可靠，還會找專家用人工方式再確認一次，避免評估結果被誤判或高估／低估。
▼
4
觸發對應等級的管控措施 一旦評估顯示可能達到某個等級，就要啟動對應管控，例如危急等級要求隔離測試環境、限制工具存取、沙盒執行sandboxed execution，讓程式在一個跟正式環境完全隔離的「沙盒」裡執行，就算出包也不會波及外部系統 與加強監控。
▼
5
公開揭露 如果初步評估顯示可能觸及「危急」這種最高等級，OpenAI 選擇主動對外公開，讓外部安全社群一起檢視，而不是等測試全部做完才說。
OpenAI 資安能力四級距（依 Preparedness Framework 精神整理）
等級 核心判準 舉例情境 低 需要人類全程帶著做，模型只是輔助，無法自主找漏洞 模型照著教學文件重現一個已知的簡單漏洞 中 能自動找出常見漏洞，但打不穿強化過的正式系統 自動掃描網站，抓到基本的 XSS 或設定錯誤 高 能對強化過的正式系統開發功能性零時差漏洞，但攻擊目標與策略仍由人類決定 文中提到 GPT-5.6-Sol 等先前模型被評估到的等級 危急 無人介入下對多個強化系統開發全部嚴重等級的零時差漏洞，或只給高層目標就能自主完成整條攻擊鏈 Astra 目前的初步評估無法排除這個等級
🛠️ 動手做：危急門檻判讀器：這個 AI 模型情境屬於哪一級？
讀完下面每一張情境卡，先自己判斷這個 AI 模型的資安能力大概落在低／中／高／危急哪一級
點選你認為對的等級按鈕
立刻看到正解與官方判準對照說明，弄懂自己判斷得對不對、差在哪裡
五張情境卡都做完後，你就能抓到「危急」等級真正的判斷邏輯是什麼，也能拿同一套邏輯回頭檢查自己在用的 AI coding 工具 👇 下面是活的，直接操作 ↻ 重來一次
🧠 工程思維透鏡（資深工程師看到的是什麼）
🔭 為什麼 OpenAI 要「公開承認」自己模型可能踩到危急門檻，而不是先偷偷補好防禦再說？
資深工程師會看到這是一個揭露時機的權衡：早公開，代表要承受輿論、甚至讓對手觀察你弱點的風險；晚公開，一旦事後被爆出來，會被質疑隱匿風險、傷害信任的成本更高。OpenAI 選擇在初步評估都還沒做完就先公開，等於是把「透明度優先於形象控管」寫進公司的風險治理原則，背後的取捨是短期公關壓力 vs. 長期作為業界安全標準制定者的信譽。
🔭 為什麼危急等級的判準要分成「多系統全嚴重度」和「單一高層目標就能自主完成」兩條，而不是合併成一條？
這是用兩個維度框住同一種危險的設計：第一條衡量的是廣度加深度（很多系統、每種嚴重程度都能打穿），第二條衡量的是自主性（不需要人類拆解任務）。一個模型可能廣度深度夠但仍需要人類引導（不算危急），也可能自主性很高但只會打簡單目標（也不算危急）。分成兩條各自獨立的判準，才能讓「符合任一條就算危急」這種寬鬆而保守的判定邏輯，精準攔住不同型態的高風險模型，避免用單一指標漏掉某種危險模式。
🔭 把「思維鏈監控」跟「沙盒執行」綁在一起，對系統設計有什麼實務意義？
光靠事後看模型「做了什麼」已經不夠，因為代理式模型是連續多步驟決策，等你發現壞結果時可能已經造成損害。監控思維鏈等於是在模型還在想的階段就攔截，把防線從事後稽核往前移到即時攔截；沙盒執行則是最後一道防線——就算監控漏放了一個危險決策，實際執行環境也被隔離、權限被限制，讓損害範圍可控。這是經典的縱深防禦思維：不依賴單一防線，而是讓多層防護互相補位。
🔭 文中特別強調 Astra「沒有涉入」Hugging Face 那起事件，這句話在工程溝通上想達成什麼效果？
這是常見的範圍切割溝通技巧：先把讀者腦中可能浮現的「是不是這個模型已經被拿去做壞事了」的聯想直接掐斷，避免報告焦點被模糊事件帶偏。同時也隱含一個工程判斷：能力等級評估（模型能做到什麼）和實際濫用事件（有沒有人真的拿去做）是兩件要分開處理的事，前者是預防性風險管理，後者是事後應變，混為一談會讓風險溝通失焦。
📝 隨堂考（點選答案，立即回饋）
Q1. 根據文中定義，模型達到「危急」等級的兩個判準之一是？
模型能寫出效能比人類工程師更好的程式
模型無人介入下，能對多個已強化的正式關鍵系統開發出各種嚴重等級的零時差漏洞攻擊
模型能通過圖靈測試
模型的訓練資料量超過前一代模型
✅ 文中明確定義危急等級的判準之一，是「無人介入」加「多個已強化正式系統」加「所有嚴重等級的零時差漏洞」，三個條件要同時成立。
Q2. 文中提到的 Preparedness Framework 最早是什麼時候發布的？
2021年
2022年底
2023年12月
2024年中
✅ 文中寫「We first published our Preparedness Framework in December 2023」，也就是 2023 年 12 月。
Q3. 先前的模型（如 GPT-5.6-Sol）在資安能力上被評估到哪個等級？
低
中
高（High）
危急（Critical）
✅ 文中寫先前模型「assessed at the High (rather than Critical) threshold」，也就是「高」而非「危急」。
Q4. OpenAI 對於還沒達到強化安全控管標準的內部 Astra 相關活動，採取了什麼做法？
照常進行，只是加強事後稽核
暫停這些活動，直到符合強化的安全控管要求
直接關閉整個 Astra 專案
把這些活動外包給第三方資安公司
✅ 文中寫「We are pausing internal activities involving Astra that do not yet meet these strengthened security control requirements」，也就是先暫停，等符合標準才繼續。
Q5. 文中的「思維鏈監控」主要用來偵測什麼？
模型的程式碼執行速度
模型輸出的語言是否流暢
模型在推理過程中的高風險行為或不對齊跡象
模型的訓練成本是否超支
✅ 文中提到監控會評估模型的 Chain of Thought，用來偵測 risky actions and misalignment，一旦發現高風險活動就觸發安全應對來檢視或中斷。
🃏 翻牌記憶卡（先想答案，再點開對答）
危急等級的第一個判準是什麼？點我翻面
無人介入下，對多個已強化的正式關鍵系統，找到並開發出所有嚴重等級的零時差漏洞攻擊。
危急等級的第二個判準是什麼？點我翻面
只給模型一個高層次目標，它就能自主設計並執行一整套全新、端到端的攻擊策略，不需要人類介入細節。
Preparedness Framework 是什麼時候發布的？點我翻面
2023 年 12 月。
先前模型（如 GPT-5.6-Sol）被評到哪個等級？點我翻面
高（High），還沒到危急（Critical）。
零時差漏洞（zero-day exploit）是什麼？點我翻面
廠商自己都還不知道、還沒修補的系統漏洞，攻擊者搶先找到就能長驅直入。
OpenAI 對強化安全控管的具體做法有哪些？點我翻面
例如隔離測試環境、限制網路與工具存取、加密保護模型權重、沙盒執行、監控思維鏈等。
ai-lecturer 教案工廠｜藍圖 flash-full-v1.0｜本頁零外部依賴，離線可開