AI-LECTURER 速報課|2026-07-17|約 26 分鐘

月之暗面 Kimi K3:全球首個開源三兆參數等級模型,用百萬字元記性治好 AI 的健忘症

取材:Kimi K3: Open Frontier Intelligence(Hacker News(AI 高人氣))
📍 真實場景
在新創公司當全端工程師的阿凱,平常靠 AI 編程助手加速開發

阿凱正在用 AI 助手修改一個上線三年、檔案破千支的舊系統,想把某個共用模組的邏輯抽出來重構

😖 卡住的地方:每次對話講到後面,AI 就把前面討論過的模組結構、命名規則全部忘光,阿凱得一直重新貼相關程式碼,商用模型的用量費用還一直往上跳
💡 這課會讓阿凱看懂,為什麼一個「開源、記得住百萬字、還能看懂截圖」的模型,正好打中他每天在忍的三個痛點,以及背後工程師做了哪些取捨才做到

🧭 這到底是什麼(白話版)

Kimi K3 是月之暗面(Moonshot AI)發布的最新大型語言模型,擁有 2.8 兆個參數可以想成模型腦中的「記憶旋鈕」數量,旋鈕越多,理論上能學到、記住的東西越複雜,但運算成本也越高,是全世界第一個達到「3 兆參數等級」規模、而且會開源權重把模型訓練好的「大腦參數檔案」整包公開釋出,任何人都能下載到自己的電腦或伺服器上執行,不必透過官方付費 API的模型。月之暗面預計在 2026 年 7 月 27 日前把完整權重放出來給大家下載。

它最大的兩個特色,一是擁有上下文窗口AI 一次能「記住」並參考的文字量,超過這個量之前講過的內容就會被忘記高達一百萬字元,二是具備原生視覺能力模型天生就能直接看懂圖片、截圖,不需要額外掛一個圖片辨識模組。這代表阿凱可以把整個大型專案的相關檔案一次丟給它,也可以直接把畫面截圖貼給它看,它天生就看得懂,不必再另外拼裝工具。

雖然整體效能上,Kimi K3 目前仍落後兩個目前最強的閉源模型 Claude Fable 5 與 GPT 5.6 Sol,但在月之暗面自己的評測項目中,它持續打贏其他有測試到的模型,稱得上是目前開源陣營裡最接近頂尖水準的一個。

🎯 為什麼值得你花時間

開源逼近頂尖商用模型過去「免費開源」和「頂尖效能」通常只能二選一,Kimi K3 證明開源模型也能做到接近商用等級,等於把高階 AI 能力的門檻大幅拉低,一般工程師、中小公司不用花大錢就能用到接近頂級的能力。
百萬字元上下文解決『AI 失憶』的老問題阿凱每次要重貼程式碼給 AI,正是因為上下文窗口太小。百萬字元等級的記憶量,代表整個中大型專案的相關檔案可以一次餵進去,AI 不會中途忘記前面討論的邏輯。
原生視覺+長時任務編程,開出新工作型態文章提到 Kimi K3 能靠截圖和畫面來輔助遊戲開發、前端排版、CAD 設計除錯,這種「看得懂畫面+能長時間自己動手改程式」的組合,代表 AI 助手能承接的工作已經不只是「回答問題」,而是能真的參與一段完整的工程流程。

⚙️ 它是怎麼運作的

1
架構升級:KDA + AttnResKimi K3 用了兩個新的架構設計:Kimi Delta Attention(KDA)一種改良過的注意力機制,設計目的是讓模型在處理很長一段文字時,前後資訊的傳遞更順暢、不容易漏掉,以及Attention Residuals(AttnRes)讓資訊能更順利地在模型內部不同「深度層」之間傳遞的設計,避免層數疊多了之後資訊反而傳不過去,這兩者一起解決了「模型要嘛記性差、要嘛層數一多就學不動」的老問題。
2
稀疏設計:896 位專家、只喚醒 16 位Kimi K3 採用了混合專家(MoE)讓模型內部養很多個「專家」小模組,每次回答問題時只喚醒其中幾個來處理,而不是全部一起動起來,這樣可以省下大量運算資源架構,內部共有 896 位「專家」,但每次只喚醒其中 16 位處理當下的問題。為了避免有些專家一直被冷落、有些一直過勞,團隊還搭配了Stable LatentMoE一種讓 MoE 架構在訓練時更穩定的設計方法,確保各個「專家」被公平且穩定地分配到任務,不會有的專家從沒被訓練過、有的專家累到質量下降這套穩定化機制。
3
訓練效率提升約 2.5 倍把上面兩項架構升級,加上重新調校過的訓練配方和資料組合加在一起,Kimi K3 把「花同樣的運算資源,能換到多少智能」這件事,提升到前一代 Kimi K2 的大約 2.5 倍,也就是不用堆更多參數硬撐分數,靠架構效率就能把模型變聰明。
4
百萬字元上下文+原生視覺在效率提升的基礎上,Kimi K3 才有能力撐起一百萬字元的記憶量,同時天生具備看懂圖片和截圖的能力,兩者合在一起讓它能同時處理「很長的文件」和「畫面資訊」。
5
長時任務:自己瀏覽龐大專案、操作終端機有了長記憶和穩定架構,Kimi K3 可以在極少人為介入的情況下,撐起長時間的工程作業,自己在龐大的程式碼庫裡找路徑、自己呼叫終端機工具來執行指令,完成一整段開發流程而不是只回答單一問題。
6
全通路上線+分階段釋出權重Kimi K3 目前已經在 Kimi.com、Kimi Work、Kimi Code 與 Kimi API 上線,發布當下先預設用最高的思考強度運作,之後才會陸續推出省資源與加強版兩種模式;完整的模型權重則會在 2026 年 7 月 27 日前釋出,讓團隊有時間先跟推理夥伴、開源社群對齊技術細節,確保權重放出來後大家都能順利跑得起來。
Kimi K3 與其他模型的定位比較
模型是否開源上下文窗口整體效能定位
Kimi K3是(權重預計 2026/7/27 前完整釋出)約 100 萬字元逼近頂尖商用模型,略遜於 Claude Fable 5 與 GPT 5.6 Sol,但贏過其他受測模型
Claude Fable 5、GPT 5.6 Sol否(閉源)文中未直接比較目前評測中最強的閉源模型
Kimi K2(前一代)較短整體扩張效率約為 K3 的 1/2.5

🤔 這則沒有適合的實作——改用三個問題帶你想深

  1. 如果你是文章中提到的阿凱,開源、百萬字元上下文、原生視覺這三個特色,哪一個對你目前工作上的痛點幫助最大?為什麼?
  2. Kimi K3 效能還落後 Claude Fable 5 與 GPT 5.6 Sol,但月之暗面選擇把它完全開源釋出,而不是像閉源模型一樣自己獨佔優勢,這個決定對中小開發者、學校、新創公司會帶來什麼樣的影響?
  3. 文章提到 Kimi K3 能自己瀏覽龐大的程式碼庫、操作終端機執行指令,完成長時間的工程作業。這種「能自主做很多事」的能力,除了帶來效率,可能也帶來哪些風險(例如誤刪檔案、誤改到不該動的設定)?如果是你要導入這種工具,你會加上哪些防護措施?

🧠 工程思維透鏡(資深工程師看到的是什麼)

🔭 為什麼月之暗面要把「架構效率」當成擴張主軸,而不是像過去一樣只靠堆參數量衝分數?
資深工程師會注意到,文中強調的是「同樣算力換到 2.5 倍智能」,而不是單純把參數量往上疊。無限拉高參數雖然分數好看,但成本會爆炸,權重檔案也會大到沒人載得動、跑得起,等於違背「開源釋出」這個目標。所以與其硬堆參數,團隊選擇優化 KDA、AttnRes、稀疏 MoE 這些架構細節,把「每一分算力的產出」拉高,這樣才能同時兼顧「逼近頂尖效能」和「大家真的下載得到、跑得起來」兩件事,是一種工程可行性優先於紙面分數的取捨。
🔭 為什麼要特別強調「Stable LatentMoE」這個穩定化設計,而不是只講『稀疏 MoE 更省算力』就好?
資深工程師都知道 MoE 架構最大的坑,是訓練時容易出現「某幾個專家被拼命呼叫、其他專家幾乎沒被訓練到」的不均衡問題,導致模型某些能力特別弱、表現不穩定。特別點名這套穩定化設計,代表團隊在「訓練穩不穩」這件事上額外投入了工程心力,這是從「能跑」進步到「跑得穩、跑得好」之間的關鍵差距,也是很多 MoE 模型發布時容易被忽略、卻直接決定實際使用體驗的細節。
🔭 為什麼完整權重的釋出時間點,訂在發布公告之後大約十天(7 月 27 日),而不是當天就整包放出來?
這反映一個常見的開源發布節奏取捨:先開放網頁與 API 服務讓大眾實際體驗、收集真實回饋,同時留時間跟文中提到的「推理夥伴與開源維護者」對齊技術細節,確保各種不同硬體、不同推理框架的環境,權重放出來後都能順利部署運作,而不是丟出一包檔案卻沒人載得動、跑不動。發布節奏本身,就是一個工程決策。
🔭 為什麼原生視覺能力要特別拿『遊戲開發、前端排版、CAD 設計』這幾個場景來舉例,而不是泛泛地說『看得懂圖片』?
資深工程師會發現,這幾個場景有個共通點:修改結果的好壞很難只靠讀程式碼判斷,一定要看畫面才知道對不對,例如排版有沒有跑版、遊戲角色動作順不順、CAD 圖面尺寸對不對。原生視覺能力等於讓模型能自己「看一眼畫面」來檢查自己改得好不好,省掉工程師來回截圖描述問題的溝通成本,這是把「多模態」用在能真正縮短除錯迴圈的地方,而不只是拿來當噱頭。

📝 隨堂考(點選答案,立即回饋)

Q1. 文章提到 Kimi K3 擁有「百萬字元的上下文窗口」,這句話代表的意思是?
上下文窗口AI 一次能記住並參考的文字量指的是模型一次能記得、參考的文字量,跟每天可回答次數、參數量、訓練資料篇數都沒有關係。
Q2. 文章提到 Kimi K3 內部有 896 位「專家」,每次只喚醒其中 16 位來處理問題,這屬於哪種架構設計?為了讓這些專家訓練時被公平分配任務,團隊還額外採用了哪種穩定化設計?
✅ 這是混合專家(MoE)讓模型養很多個「專家」小模組,每次只喚醒其中幾個來處理問題,藉此省下運算資源架構,文章提到 K3 在 896 位專家中只啟動 16 位,並搭配 Stable LatentMoE讓 MoE 訓練時更穩定、避免某些專家被冷落或過度使用的設計方法 來確保訓練時各專家被公平且穩定地分配到任務。
Q3. 根據文章,Kimi K3 目前的整體效能表現,相較 Claude Fable 5 與 GPT 5.6 Sol 是?
✅ 文章明白寫道 Kimi K3「整體效能仍落後最強大的閉源模型 Claude Fable 5 和 GPT 5.6 Sol」,但在評測中持續超越其他被測試的模型。
Q4. 文章提到 Kimi K3 在「軟體工程+視覺推理」結合的任務上特別突出,下列哪一項是文章實際舉出的應用場景?
✅ 原文提到 Kimi K3 能「leverages screenshots and visuals to optimize game dev, frontend, and CAD」,也就是利用截圖、畫面來輔助遊戲開發、前端排版、CAD 設計除錯,這是文中實際描述的應用場景。

🃏 翻牌記憶卡(先想答案,再點開對答)

Kimi K3 是什麼等級的模型?點我翻面
全球首個開源的 3 兆參數等級模型(實際參數量 2.8 兆),由月之暗面發布
KDA 是什麼的縮寫?點我翻面
Kimi Delta Attention,一種讓資訊在長文字序列中傳遞得更順暢的注意力機制改良設計
AttnRes 是什麼?點我翻面
Attention Residuals(注意力殘差),讓資訊能更順利地在模型不同深度層之間傳遞的架構設計
896 選 16 是什麼意思?點我翻面
Kimi K3 內部有 896 位「專家」模組,每次只喚醒其中 16 位來處理問題,是一種省算力的混合專家(MoE)設計
完整模型權重什麼時候釋出?點我翻面
預計在 2026 年 7 月 27 日前完整釋出,讓大眾可以自行下載到自己的環境執行
百萬字元上下文對使用者代表什麼?點我翻面
模型一次能記住並參考大約一百萬個字的內容,處理超大型程式碼庫或長文件時比較不容易『失憶』

✅ 離開前自測(全勾=這課真的學會了)

0%