AI-LECTURER 速報課|2026-08-09|約 26 分鐘

AI標書寫手學會說「我不知道」:一場關於拒絕造假的工程血淚史

取材:Making an AI bid writer refuse to lie(Hacker News(AI 高人氣))
📍 真實場景
陳莉婷,32歲,台灣一家系統整合公司的標案撰寫主管,專門幫公司寫政府與企業標案的投標文件

這週要在三天內,針對一份850頁的招標文件包生出對應的技術規劃書,老闆要求先用AI工具生第一版初稿,加快速度

😖 卡住的地方:上次她用AI生的草稿,把公司根本沒有的ISO 27001證照寫進正文,差點因為文件不實被取消投標資格。從那之後她對AI草稿有陰影,每一條都要重新肉眼核對,反而比自己從頭寫還慢
💡 這堂課會拆解一個真實AI標書系統的團隊花了快一年時間踩出來的教訓,讓你看懂怎麼把一個「自信亂編」的AI助手,改造成「沒有證據就誠實舉手」的可靠隊友——這個原理,你自己專案裡任何會用AI生成正式文件的地方都用得上

🧭 這到底是什麼(白話版)

這篇文章在講一間叫Lucius的公司,做了一個專門讀政府或機構招標文件、然後自動生成「投標初稿」的LLM大型語言模型,就是像那種能自動生成一大段通順文字的AI工具。他們最近處理了一個真實案例:英國一個地方議會要發包一座約新台幣3800萬(95萬英鎊)的足球場工程,標案文件多達133頁,AI在五分鐘內就生出了第一版草稿。

這篇文章最想講的重點,不是「AI寫得多快多好」,而是這份AI草稿的開頭放了一個「拒絕清單」:列出11項要求「目前沒有人可以證明我們做得到」,而不是硬掰答案填滿。作者說,這個「敢承認不知道」的提醒欄,是他們花了快一年時間、踩過很多坑才做出來的功能。

為什麼這件事很難?因為生成式AI幻覺AI很有自信地講出一段聽起來很合理、但其實是編造、跟事實不符的內容在投標書這種場景裡特別致命——因為評審真的會去對答案,寫錯不是扣一點分,是直接被踢出局。而AI骨子裡的運作方式,是靠Token接龍AI生成文字的方式,就是一個字一個字接下去,每次都選看起來最順、最像人話的下一個字,在大多數場景下「合理」跟「真的」是同一件事,但在投標書裡,這兩件事恰好在最重要的地方(金額、年限、證照)分岔。

文章接著用一個真實踩雷案例(「幽靈夥伴」事件)說明:光靠事後用關鍵字比對拿要求裡的關鍵詞去掃描草稿內容,看有沒有出現,以此判斷這條有沒有被回答來檢查草稿夠不夠誠實是不夠的,因為AI可以把編造的內容寫得剛好塞滿你要找的關鍵字。真正的解法是把「AI能聲稱什麼」這件事,變成一個在寫作之前就先查清楚的結構性步驟,而不是事後靠提示詞或關鍵字去補漏。

🎯 為什麼值得你花時間

AI寫得越好,風險越隱形現在的模型文筆已經很順,讀起來完全不像機器寫的,這代表「編出來的謊」也一樣通順自然,人工核對更難靠「感覺哪裡怪怪的」抓出來,你必須靠制度,而不是靠語感。
壞掉的地方常常不是單一元件幽靈夥伴事件告訴我們,草稿產生器跟合規驗證器各自看起來都沒問題,但組在一起卻變成一台會自動造假又自動蓋章通過的系統,這種「元件互相掩護」的風險,在任何把多個AI流程串起來的系統裡都可能發生。
誠實不能靠拜託模型,要靠架構逼出來光是在提示詞裡加一句「請不要編造」幾乎沒用,因為模型仍然沒有一份「我現在真的能證明什麼」的清單可查。真正有效的做法,是先把「這個投標方到底能提出哪些證據」整理成一份底稿,寫作階段只能引用這份底稿裡真實存在的東西。

⚙️ 它是怎麼運作的

1
AI讀完整份標案文件包系統吃進所有公開文件(這次案例是6份文件、133頁),抓出裡面每一條買方要求的東西,比如「最低營業額要有兩年財報佐證」、「要有500萬英鎊的專業責任保險」,並建立一份合規對照表Compliance Matrix,把每一條招標要求跟你的證明資料一條一條對起來的表格
2
逐條比對「買方要求」vs「投標方真的擁有的證據」不是讓AI憑印象接龍,而是把每一條要求拿去對投標方現有的證明文件庫,看看有沒有真的對得上的證據。
3
有證據的,才准許寫進正文對得上的部分,AI才會用那份真實資料生成正式的回答文字,放進投標書正文裡。
4
沒證據的,列進開頭的拒絕清單對不上的部分不會被硬掰,而是被收集成開頭那段「這幾條目前沒人負責」的提醒,逼真人去補真答案,而不是讓AI幫你圓謊。
5
舊版的破洞:合規驗證器只做關鍵字比對早期版本用另一個AI元件檢查「這條要求有沒有被回答」,方法是掃關鍵字有沒有出現,結果編造出來的段落只要塞對關鍵字,就會被誤判成「已覆蓋、沒問題」——這正是真實案例中,42條要求被誤判覆蓋的原因。
6
新版修法:把能聲稱什麼做成寫作前就先鎖死的步驟現在草稿階段開始前,系統先跑一個「能力核對」流程,把「有實際證據撐腰的內容」跟「沒有」分清楚,而不是事後才用Prompt你打字給AI的指令文字,AI會照著這段文字的方向去生成內容調整或關鍵字比對去補救。
舊版 vs 新版:AI遇到「沒證據的要求」時怎麼處理
版本遇到缺證據的要求時怎麼做實際結果
舊版讓AI自己接龍補一個「合作夥伴」把缺口填滿關鍵字比對誤判為已覆蓋,其實整段都是編造的
新版把該條列進開頭的拒絕清單,明講「目前沒人證明做得到」真人一眼就看到缺口,補真資料或誠實刪除,不會因造假被取消資格

🛠️ 動手做:投標AI該不該掰?自己動手做一次「有證據才准寫」的把關器

  1. 左邊是5條招標要求,每一條旁邊有個開關,代表投標方「真的有沒有證據」可以證明自己符合。
  2. 先把全部開關切到「沒有證據」(取消勾選),按下「老實模式:生成草稿」,看看AI怎麼把這幾條通通丟進開頭的拒絕清單,而不是硬寫。
  3. 再切換幾個開關成「有證據」(勾選),重新產生一次,觀察有證據的條目怎麼被寫進正文,沒證據的還是留在拒絕清單裡。
  4. 最後按下「隨便掰模式:生成草稿」比較看看:同樣的證據狀態下,如果不做核對,AI會怎麼把每一條都寫得信誓旦旦、看起來一模一樣可信。
  5. 比較兩次結果的差異,體會「看起來通順」跟「真的有證據」是兩回事。
👇 下面是活的,直接操作

🧠 工程思維透鏡(資深工程師看到的是什麼)

🔭 為什麼「把模型寫得更好」沒用,問題出在別的地方?
大型語言模型的訓練目標是接龍出「最像真的」的下一段話,在行銷文案裡「像真的」跟「是真的」幾乎是同一件事,但在投標書裡,評審會拿你的話去對帳,兩者在最關鍵的地方(金額、證照、年限)分道揚鑣。這代表提高模型的文筆根本不解決問題,要解決的是「這句話有沒有證據撐著」這個系統層面的問題,不是語言層面的問題。
🔭 兩個各自看起來都還算合理的元件,為什麼組在一起會出大事?
幽靈夥伴案例中,草稿模型自己掰了一個夥伴公司來補洞(單看:也許只是想把文章寫圓);而合規驗證器只用關鍵字比對來判斷「這條有沒有覆蓋」(單看:圖個方便,省得每條人工核對)。兩個獨立來看都是還可以接受的簡化,合起來卻變成一台自動造假又自動蓋章通過的機器。資深工程師看到這裡的教訓是:系統風險常常不是單一元件壞掉,而是兩個看起來還好的簡化,剛好互相掩護了對方的破綻。
🔭 為什麼修法是「在草稿階段前加一道能力核對」,而不是「調整提示詞叫它別亂講」?
調整提示詞只是求模型口頭承諾誠實,但模型仍然沒有一份「你現在真的擁有什麼證據」的清單可以查,還是憑「這樣寫比較通順」在補。結構性修法把「聲稱」跟「核實」拆成兩個步驟,先建立一份「投標方到底能證明什麼」的底稿,草稿階段只能引用這份底稿裡有的東西,查不到就必須進拒絕清單,而不是進正文。這是把誠實這件事從「靠模型自律」換成「靠系統結構逼出來」。
🔭 作者為什麼說這個一年才做出來的功能,價值在於「拒絕」而不是「產出」?
多數AI產品的賣點是「幫你多做一件事」,但這裡最值錢的功能反而是「幫你少做一件危險的事」——主動不寫、主動舉手說不知道。對一個會被拿去驗證、會有法律與商業後果的文件系統來說,一個懂得在沒把握時閉嘴的AI,比一個永遠自信滿滿的AI更值得信任,這也是為什麼作者把它當成整篇文章最核心的成果,而不是順帶一提的細節。

📝 隨堂考(點選答案,立即回饋)

Q1. 為什麼作者說,投標書裡的「杜撰」是AI的預設行為,而不是意外?
✅ 文章明講,模型的運作方式就是接龍最合理的下一段話,行銷文案裡「合理」與「真的」幾乎同一件事,但在投標書裡,這兩者恰好在金額、證照、年限這些評審真的會查核的地方分開,所以杜撰是系統預設的行為,不是意外。
Q2. 「幽靈夥伴」事件裡,公司自己的合規驗證器為什麼沒抓到AI在編故事?
✅ 文章說驗證器用關鍵字比對,而幽靈夥伴的段落剛好包含正確的關鍵字,所以被誤判為已覆蓋,這是兩個各自看起來還算合理的元件組合出的系統性錯誤。
Q3. 作者認為真正解決杜撰問題的關鍵做法是什麼?
✅ 文章明確說修法是結構性的,不是提示詞調整,並且提到現在草稿階段前會先跑一個能力核對,把「能聲稱什麼」在寫作前就鎖死,而不是靠提示詞或事後檢查。
Q4. 為什麼投標書裡寫錯一項證照或金額,後果會比一般文件錯誤嚴重?
✅ 文章原文提到寫錯不會只是降低分數,而是會讓標案被剔除,最壞的情況甚至會被排除在未來的標案之外,也就是後果是被剔除資格,不是扣分而已。
Q5. 這篇文章裡,AI草稿一開頭的那個拒絕清單,作者為什麼說它是這個系統最值得驕傲的功能?
✅ 作者直接說這個功能是他最驕傲的,而且本質上是一種拒絕——這個功能的價值就在於AI選擇拒絕編造,誠實地把沒有證據的部分列出來,而不是硬湊出一段看起來完整的答案。

🃏 翻牌記憶卡(先想答案,再點開對答)

生成式AI幻覺(Hallucination)點我翻面
AI很有自信地講出一段聽起來合理、但其實是編造、跟事實不符的內容。
合規對照表(Compliance Matrix)點我翻面
把招標要求跟投標方的證明資料一條一條對起來的表格,用來確認每項要求有沒有真的被回答。
Prompt調整 vs 結構性修正的差別點我翻面
Prompt調整只是在指令裡拜託AI「別亂講」;結構性修正是改變系統流程本身,讓AI在寫作前就只能引用真實存在的證據。
幽靈夥伴事件的教訓點我翻面
草稿產生器和合規驗證器各自看起來都還算合理的簡化,組合起來卻變成一台自動造假又自動蓋章通過的系統。
為什麼關鍵字比對抓不到編造內容點我翻面
因為編造的段落只要用詞剛好對上,就會被誤判成「已經回答」,關鍵字比對不管內容是不是真的。
投標書寫錯聲明的真實代價點我翻面
不是扣分,而是整份標案被剔除資格,嚴重甚至影響未來投標機會。

✅ 離開前自測(全勾=這課真的學會了)

0%