AI-LECTURER 速報課｜2026-10-29｜約 25 分鐘

20 億參數吃遍文字、影像、聲音：LFM3 讓小模型在你自己的顯卡上長出專長

取材：Build specialized multimodal models with LFM3（Hugging Face Blog）
📍 真實場景
阿凱，33 歲，在台中一間機械零件工廠擔任品管工程師

他想讓產線平板能自動讀懂瑕疵照片，並用語音記錄檢驗結果，但工廠網路受限、資料不能上雲

😖 卡住的地方：他試過大型雲端模型，結果延遲高、資料外流疑慮大；改用小模型又發現通用模型不懂廠內的零件術語，辨識常常出錯
💡 這課帶你看懂 LFM3 怎麼把文字、影像、聲音放進同一個約 2B 的小模型家族，並學會資深工程師如何判斷「該不該自己微調一個專用小模型」

🧭 這到底是什麼（白話版）

LFM3 是 Liquid AI 推出的第三代小型模型家族。它的特色是「一個共用骨幹、多種專長」：文字、影像、聲音、全能（omni）和決策（decision）六款模型，全都從同一個基底模型 LFM3-1.7B-Base 分支出來，參數量都在 20 億（2B）上下。參數模型內部可以調整的數字旋鈕，數量越多通常越聰明、也越吃記憶體

傳統做法是用一個超大的通用模型什麼都包。LFM3 的想法反過來：與其養一隻什麼都會但很笨重的大象，不如準備一群輕巧的專家，你挑符合需求的那一隻，再用自己的資料做 微調拿現成模型，用你自己的資料再訓練一小段時間，讓它更懂你的領域，而且只要一張顯卡就夠。

它也很適合放在裝置端。文字模型用 4-bit 的 量化把模型裡的數字用更少位數存起來，像把高畫質照片壓成較小檔案，犧牲一點點精細度換取體積 後約只要 1 GB，還支援 256K 的 上下文視窗模型一次能讀進腦中的文字量，越大代表能一次看越長的文件，讓代理程式（agent）可以直接在手機、樹莓派或筆電上跑。

Liquid AI 的架構是「短卷積加注意力」的混合體。注意力模型判斷一段文字裡哪些詞彼此相關的機制，是現代 AI 的核心零件 很強但在長文章上很耗資源，所以 LFM3 把它和便宜的短卷積搭配使用，在效能與速度之間取得平衡。

🎯 為什麼值得你花時間

資料不必離開你的機器約 1 GB 的模型能跑在裝置端，像阿凱的工廠這種不能上雲的場景，也能擁有 AI 能力，隱私與合規問題直接少一大半。
小模型也能比舊的大模型強LFM3-1.7B 比 LFM2.5-2.6B 少了 35% 的參數卻表現更好。代表「參數越多越好」不再是唯一路線，架構設計也能換來能力。
專用化的門檻降到一張顯卡每個模型都能在單張顯卡上微調，讓個人與小公司也有機會做出懂自己術語、自己環境的專屬模型，而不必租一整個機房。

⚙️ 它是怎麼運作的

1
硬體在迴圈的架構搜尋Liquid AI 不是只在電腦上憑感覺設計模型，而是讓搜尋過程直接量測模型在 14 種裝置與後端組合（手機、樹莓派 5、筆電、雲端 CPU、GPU、高通 Hexagon NPU）上的真實速度，挑出又準又快的結構。
▼
2
三種層混搭（tri-hybrid）24 層裡有 13 層閘控短卷積（便宜、只看附近）、5 層滑動視窗注意力（SWA，只看最近 256 個 token）、6 層全域注意力（能看全文）。便宜的層負責大部分工作，貴的層只放在關鍵位置。
▼
3
逐頭閘門與部分旋轉位置編碼每個注意力頭的輸出會被 sigmoid 閘門調節，沒話說的頭可以自己關掉，這有助於壓低讓量化出問題的極端數值。全域層的 Partial RoPE 只旋轉一半維度，另一半專心比對內容、不受距離影響。
▼
4
三明治正規化每個區塊的輸入與輸出都做正規化，讓內部數字大小維持穩定，訓練與量化都更安全。
▼
5
大量訓練後再專攻代理能力基底模型先用 22T token 預訓練，最後 3.5T token 進入中期訓練，使用更多代理軌跡與工具呼叫資料，同時把上下文窗口延伸到 256K。
三種層的分工（LFM3-1.7B-Base 共 24 層）
層類型層數能看多遠成本
閘控短卷積（核大小 7）13只看附近的詞最低
滑動視窗注意力（SWA）5最近 256 個 token中
全域注意力6整段上下文最高

🔍 程式碼漫遊（點有 ● 的行看白話講解）

下面這段小程式用「層數配比」估算三種層各佔多少比例，幫你直觀感受 LFM3 為什麼能在長上下文下比純注意力模型快。

●layers = {'conv': 13, 'swa': 5, 'global': 6}
💬 對應素材裡 LFM3-1.7B-Base 的 24 層配置：13 層短卷積、5 層滑動視窗注意力、6 層全域注意力。
●total = sum(layers.values())
💬 把三種層加總，驗證總數是 24。
●for name, n in layers.items():
💬 逐一處理每種層。
● print(name, n, f'{n/total:.0%}')
💬 印出每種層的占比。你會看到只有 25% 的層是需要看全文的貴層，其餘都是便宜或有限範圍的層，這就是長上下文仍然快的關鍵。

🛠️ 動手做：調整層配比，看看長上下文的成本怎麼變

  1. 拖曳「全域注意力層數」滑桿，數值越大代表越多層需要看整段上下文。
  2. 拖曳「上下文長度」滑桿，模擬從 1K 到 256K token 的情況。
  3. 觀察相對成本條：LFM3 的配置（6 層全域）與全部 24 層都是全域注意力的差距有多大。
  4. 試著把全域層數調到 24，再比較結果，體會為什麼混合架構適合裝置端。
👇 下面是活的，直接操作

🧠 工程思維透鏡（資深工程師看到的是什麼）

🔭 為什麼不乾脆全用注意力層，或全用卷積層？
全注意力能看全文但成本隨上下文長度快速上升，裝置端記憶體與電力撐不住；全卷積便宜但看不到遠處的關聯。LFM3 用 13:5:6 的混搭，把貴的能力只放在必要位置。這是典型的工程取捨：不追求每一層都最強，而是在總預算內把能力配置在最划算的地方。
🔭 為什麼要用「硬體在迴圈」去搜尋架構？
理論上省運算的設計，在實際晶片上不一定快，因為記憶體頻寬、算子支援度都會影響速度。把 14 種真實裝置放進搜尋流程，等於讓目標硬體直接投票，避免做出紙上漂亮、實機卻慢的模型。資深工程師常說：沒量過就不叫最佳化。
🔭 逐頭閘門為什麼和量化有關？
量化把數字壓成較少位數，若激活值裡有極端離群值，壓縮時就會損失大量精度。讓沒貢獻的注意力頭自己關掉，可抑制這類離群值，等於在訓練階段就為日後的 4-bit 部署鋪路。這是把部署限制往前移到設計階段的思維。
🔭 六個專用模型 vs 一個超大通用模型，該怎麼選？
通用大模型省去維護多個模型的麻煩，但推論成本高且難以客製。多個小專家則每個都便宜、可就地微調，代價是要管理多個版本與選型。當你的場景明確（如阿凱的瑕疵檢測）、資料敏感、需要裝置端執行時，專用小模型通常更划算。

📝 隨堂考（點選答案，立即回饋）

Q1. LFM3-1.7B-Base 的 24 層中，全域注意力層有幾層？
✅ 配置為 13 層閘控短卷積、5 層滑動視窗注意力、6 層全域注意力，全域層只占四分之一。
Q2. LFM3 文字模型在 4-bit 量化後大約需要多少記憶體？
✅ 素材指出文字模型 4-bit 後約 1 GB，因此適合放在手機、樹莓派等裝置端。
Q3. 逐頭閘門（head-wise gated attention）的主要好處是什麼？
✅ sigmoid 閘門可縮放每個頭的輸出，沒貢獻時可以關閉，有助壓低激活離群值。
Q4. LFM3 的六個模型有什麼共通點？
✅ 文字、影像、聲音、omni、decision 等模型都共用同一個基底，這是它的核心設計。

🃏 翻牌記憶卡（先想答案，再點開對答）

LFM3 的層配置（24 層）點我翻面
13 層閘控短卷積（核大小 7）＋ 5 層滑動視窗注意力（256 token）＋ 6 層全域注意力。
LFM3-1.7B 對比 LFM2.5-2.6B點我翻面
參數少 35% 但表現更好。
Partial RoPE點我翻面
全域注意力層只旋轉高頻的一半維度，另一半專注內容比對、不受距離影響；SWA 層仍用完整 RoPE。
硬體在迴圈架構搜尋涵蓋哪些裝置點我翻面
共 14 種組合，包含手機、樹莓派 5、筆電、雲端 CPU、GPU 與高通 Hexagon NPU。
中期訓練的 3.5T token 做了什麼點我翻面
使用更多代理軌跡與工具呼叫資料，並把上下文窗口延伸到 256K。

✅ 離開前自測（全勾＝這課真的學會了）

0%