AI-LECTURER 速報課｜2026-11-03｜約 25 分鐘

AI 能直接「讀懂並改寫」另一個 AI 的權重：只動 0.016%，數學分數從 7.9% 跳到 48.1%

取材：Astra can read and write weights to improve Qwen（Hacker News（AI 高人氣））
📍 真實場景
阿凱，32 歲，小公司的後端工程師，想把一個 0.8B 的小模型塞進公司內部客服工具

他拿 Qwen 小模型來解數學題與照指示格式回答，想讓它在不加 GPU 預算的前提下變得更可靠

😖 卡住的地方：小模型常常卡在重複繞圈的推理迴圈，答案寫到一半就停不下來。他沒有資料、沒有訓練經驗，重新訓練（fine-tune）又貴又怕把原本會的能力練壞
💡 這課讓他看到一條新路：不訓練，而是讓一個強模型直接讀權重、診斷毛病、只改極少數數字。你也會親手修一個壞掉的小網路

🧭 這到底是什麼（白話版）

AI 模型的「大腦」其實就是一大堆數字，叫做 權重模型裡的可調數字，決定它看到輸入後會怎麼反應，像收音機上成千上萬個旋鈕的位置。過去想讓模型變聰明，標準做法是 訓練讓模型反覆做題、對答案、一點一點微調權重的過程，背後靠 Adam、Muon 這類 優化器一種固定公式的小程式，負責決定每次訓練要把哪些權重往哪個方向調多少 來完成。優化器很強，但它是「死公式」，並不理解每個數字在幹嘛。

這篇研究（來源：rikiyat.github.io 的部落格文章）提出一個新玩法，叫做 Weight-Space Programming（權重空間程式設計）：讓一個前沿大語言模型 GPT-6 Astra，直接像讀程式碼一樣讀另一個網路的權重，判斷它在做什麼、哪裡出了問題，然後直接手動改數字。整個過程不跑 梯度下降訓練時最常用的方法：算出每個權重該往哪邊調才會讓錯誤變小，再一小步一小步照著調，也不允許 Astra 寫訓練迴圈。

研究團隊報告了幾個結果：光看原始權重，Astra 就能說出網路被訓練來做什麼；不給任何環境回饋，它能從零寫出小型遊戲網路，表現勝過用 PPO一種常見的強化學習訓練方法，讓 AI 靠玩遊戲、拿分數來學習 訓練了 1 億步的網路；對 Qwen3.5-0.8B，Astra 找出 Qwen 模型卡（官方說明文件）自己警告過的「推理迴圈」問題，只改了約 0.016% 的權重（0.8B 模型約相當於 12.8 萬個數字），MATH-500 數學測驗就從 7.9% 升到 48.1%，而且在同樣的取樣設定下，IFEval（照指示做事的測驗）分數也變成約 3 倍。作者自己強調這是「非常早期的結果」，請把它當成一個值得觀察的方向，而不是定論。

🎯 為什麼值得你花時間

優化不再只靠固定公式過去我們能用 LLM 優化文字（提示詞、程式碼），因為人類也能手改文字；權重因為人手改不動，只好交給 Adam 這類公式。這篇指出：能推理的模型，現在也開始能「有意識地」改權重，優化的工具箱多了一格。
不用訓練就能修模型，成本結構改變原文的小模型案例是「不加梯度、不重新訓練」，只動 0.016% 的權重。如果這條路走得通，修模型的門檻可能從「要資料、要 GPU、要調參經驗」變成「要一個夠強的診斷者」。
可解釋性（看懂模型在想什麼）有新工具Astra 光看權重就能說出網路被訓練來做什麼。這代表 可解釋性研究模型內部到底怎麼做出決定，而不是只看它答對沒 研究可能多一個會讀權重的助手，而不是全靠研究員一格一格人工分析。

⚙️ 它是怎麼運作的

1
把權重交給大模型閱讀Astra 拿到的是目標網路的原始權重（例如 Qwen3.5-0.8B 的參數），而不是它的輸出或訓練紀錄。這就像把一張電路板的零件清單給工程師，請他判讀功能。
▼
2
用推理判斷每一塊在算什麼Astra 用語言推理去推測各部分「現在計算什麼」或「應該計算什麼」。在 Qwen 的例子裡，它發現權重中有一處導致推理迴圈，這正是 Qwen 模型卡警告過的已知毛病。
▼
3
直接改寫極少數權重Astra 不跑訓練迴圈，而是針對性地原地編輯權重，總量約 0.016%。因為改得少又準，原本會的能力比較不容易被連帶破壞。
▼
4
用同樣設定重新測驗維持相同的取樣設定，MATH-500 從 7.9% 升到 48.1%；沒專門針對 IFEval 調整，它也提升到約 3 倍，作者稱之為「開箱即泛化」。
三種改權重方式的比較（依原文論述整理）
方式誰在決定怎麼改需要訓練迴圈嗎特點
傳統優化（Adam、Muon）固定公式需要通用、穩定，但不理解每個數字的意義
編譯器／專門網路產生權重形式化程式或另一個訓練好的網路視情況需要事先有形式化描述或額外訓練
Weight-Space Programming會推理的 LLM（如 Astra）不需要靠讀懂權重意義來改；原文稱結果仍屬早期

🔍 程式碼漫遊（點有 ● 的行看白話講解）

這是我們為了教學寫的概念演練（不是原文的程式碼）：示範「只改極少數權重」到底有多少比例。重點是看懂 0.016% 是多小的數字。

●import numpy as np
💬 載入 NumPy，一個專門處理大量數字陣列的函式庫，權重本質上就是一大堆數字陣列。
●total = 800_000_000
💬 假設模型有 8 億個權重（0.8B）。底線只是讓大數字好讀，Python 會忽略它。
●edited = int(total * 0.00016)
💬 0.016% 換成小數是 0.00016。算出來約 128,000 個，只占整個模型的萬分之一點六。重點行：改得少，所以不容易誤傷原本的能力。
●w = np.zeros(1000)
💬 建立一小段假想的權重來示範，實際模型的權重要從檔案載入。
●idx = np.array([12, 407, 733])
💬 重點行：這幾個位置代表「診斷後認為有問題的權重」。在原文中，這個診斷由 Astra 靠推理完成，而不是靠公式搜尋。
●w[idx] += 0.5
💬 只在被點名的位置做修改，其餘維持不動。這就是「手術式編輯」與「全面重新訓練」最大的差別。
●print(edited, len(idx) / len(w))
💬 印出實際改動的數量與比例，養成「改完先量化改了多少」的習慣，這是工程上很重要的驗證步驟。

🛠️ 動手做：你來當「權重醫生」：修好一個被弄壞的 XOR 小網路

  1. 這個小網路有 9 個權重（w0～w8），原本能正確解 XOR 題：兩個輸入「不一樣」時輸出 1，一樣時輸出 0。
  2. 按「隨機弄壞一個權重」，網路會有一個權重被改成相反的數字，下方表格會出現 ❌。
  3. 不要亂拉所有滑桿！先觀察哪幾列答錯，推理是哪一個權重造成，再只動那一個滑桿把它修回來（想想 Astra 也是先診斷再動手）。
  4. 修好後看上方訊息：『與標準答案不同的權重有 0 個』且答對 4 / 4。
  5. 思考：這個網路只有 9 個權重，壞掉 1 個就是 11%；而原文裡 Qwen 只動了 0.016%。為什麼規模越大，「找對那一小撮」越困難，也越有價值？
👇 下面是活的，直接操作

🧠 工程思維透鏡（資深工程師看到的是什麼）

🔭 資深工程師會問：這個結果的「可信度邊界」在哪？
原文明講是「非常早期的結果」，而且 7.9% 的起點很低（小模型本來就容易卡在推理迴圈），所以 48.1% 的大幅進步，有一部分是「修掉一個具體故障」帶來的，不等於任何模型都能這樣大幅提升。工程上要追問：基準線是否公平？換別的模型、別的任務還成立嗎？有沒有被別人獨立重現？在這些問題有答案之前，這是強烈的訊號，不是可以直接押注的結論。
🔭 為什麼「只改 0.016%」是設計上的優勢，而不只是炫技？
改動越少，副作用的風險面就越小：被動到的功能少，原本會的能力就比較不會壞。這其實是外科手術與全面重建的取捨：全面訓練能做出大範圍改變，但可能出現遺忘（改好一件、搞壞別件）；精準編輯則靠『診斷準確度』換取低副作用。代價是診斷必須非常準，一旦判斷錯誤，改對的位置反而是浪費。
🔭 『由 LLM 優化權重』和『由 Adam 優化權重』，系統設計上多承擔了什麼風險？
Adam 是可重現、可分析的固定公式；LLM 是機率性的推理者，同樣輸入可能給出不同診斷，也可能自信地說錯。所以實務上需要把『改權重』當成一次需要驗證的變更：改前後跑固定測驗、保留還原點、記錄改了哪些位置與理由。這和我們在手作區塊裡先診斷、再只動一個滑桿的紀律是同一種思維。

📝 隨堂考（點選答案，立即回饋）

Q1. Weight-Space Programming 最核心的特色是什麼？
✅ 原文重點在『讀權重、寫權重』這件事由 LLM 靠推理完成，不透過優化器、也不允許寫訓練迴圈。
Q2. Astra 對 Qwen3.5-0.8B 做了什麼，使 MATH-500 從 7.9% 升到 48.1%？
✅ 原文說明它辨識出 Qwen 模型卡警告過的推理迴圈問題，並且只直接編輯約 0.016% 的權重，取樣設定不變。
Q3. 0.8B 模型的 0.016% 大約是多少個權重？
✅ 8 億 × 0.00016 ≈ 12.8 萬。對比總量依然是極小的一撮。
Q4. 下列哪個說法最符合資深工程師看這份成果的態度？
✅ 原文作者自稱是非常早期的結果；工程上應保留審慎，要求重現性與泛化驗證。

🃏 翻牌記憶卡（先想答案，再點開對答）

Weight-Space Programming 是什麼？點我翻面
由通用 LLM 直接讀取並寫入神經網路的權重來達成目標，不透過優化器或梯度下降。
Astra 在 Qwen3.5-0.8B 上的成果數字？點我翻面
編輯約 0.016% 的權重；MATH-500 從 7.9% 升到 48.1%，IFEval 約 3 倍。
Astra 修掉的是什麼問題？點我翻面
導致推理迴圈的權重問題，這正是 Qwen 模型卡自己警告過的現象。
傳統優化與權重空間程式設計的最大差別？點我翻面
傳統靠固定公式（如 Adam、Muon）；後者靠 LLM 推理理解每部分在算什麼再手動修改。
為什麼要保持審慎看待這個成果？點我翻面
原文自稱是非常早期的結果，且起點很低、仍需獨立重現與更多模型任務驗證。

✅ 離開前自測（全勾＝這課真的學會了）

0%