Module / 07 驗證 30 min

AI 查證 能力

AI 幻覺不是 bug,是模型的本質特性。學會三大招對抗它,重要決定才不會踩雷。

01 · Goal

學習目標

02 · Core

核心知識

03 · Demo

高風險場景

04 · Practice

幻覺測驗

01 / Goal

學習目標

  • Goal · 01

    理解三類常見 AI 幻覺

    事實型 / 引用型 / 推理型。

    Before · 不做這件事

    業務相信 AI 數字直接報價

    Ken 把 AI 說的市場成長 18% 放進提案,客戶問來源時連結打不開,會議當場扣分。

    After · 做了之後

    Ken 先分辨三類幻覺

    他檢查事實、引用與推理三類,刪掉無來源數字;提案保留 6 個可點開來源。

  • Goal · 02

    學會對付幻覺的三大招

    用有來源的 AI / AI 自我批判 / 多 AI 交叉比對。

    Before · 不做這件事

    只問單一 AI 查法規

    採購小林只問一個模型進口限制,得到過期規定;報關前一天才被貨代提醒。

    After · 做了之後

    小林三招一起用

    她用有來源搜尋、AI 自我批判、三家交叉比對,標出 2 條需人工確認法規;提前 5 天問報關行。

  • Goal · 03

    建立法律 / 醫療 / 金融雙重驗證 SOP

    敏感資料不直接丟雲端。

    Before · 不做這件事

    把機密完整丟雲端

    Jerry 把薪資表、客戶名單與合約一起上傳公共聊天 AI,只為了整理摘要;隔天才想到資料外洩風險。

    After · 做了之後

    先遮罩再選本機或企業版

    他把姓名改成代碼、金額區間化,敏感段落用本機模型摘要;雲端只處理去識別後問題。

02 / Core

核心知識

01 · 本質Nature

AI 幻覺:三種型態

  • 事實型 · 名字、日期、數字記錯(愛因斯坦得諾貝爾「和平」獎其實是物理獎)
  • 引用型 · 編出不存在的論文、法條、判例
  • 推理型 · 邏輯看似合理,前提錯誤導出錯結論

幻覺率 — 頂級模型仍有 1–3%,越冷門領域越高。

Before · 不做這件事

幻覺看起來像專業答案

人資引用 AI 編出的勞基法條號,公告寄給 80 位員工後才被會計發現錯誤。

After · 做了之後

先查事實、引用、推理

她要求每條法規附來源、日期與適用條件;無法驗證的段落改成「待法務確認」。

02 · 招式 1Source

用有來源的 AI

優先選會「附引用」的工具:

  • 大資料Gemini Deep Research / ChatGPT 深度研究
  • 小資料Perplexity / Felo([1][2] 註腳)
  • 自有NotebookLM 只從你的來源回答

關鍵 — 真的點開來源連結確認,不要只看 AI 總結。

Before · 不做這件事

只看 AI 總結不點來源

小林看到 AI 附了 5 個連結就放心,結果 2 個是舊公告、1 個是論壇文章。

After · 做了之後

逐一打開來源確認

她只採用官方公告與供應商原文,5 個連結刪到 2 個;報告少了噪音但可被追溯。

03 · 招式 2Self-check

讓 AI 自我批判

  • 生成前 · 「在回答前請檢查資料庫,確保基於事實而非推測」
  • 生成後 · 「重新審視你剛才的回答,評估有哪些假設不符實際?」
  • 留白 · 「信心度低於 90% 標【資料不足】」
Before · 不做這件事

AI 第一版答案直接進簡報

Amy 把 AI 產的裁員建議拿去主管會議,沒有列反例與風險,現場被 HR 挑戰。

After · 做了之後

加自我批判咒語

她要求 AI 找漏洞、列反對理由與需補資料;簡報多出 4 個風險假設,會議改成資料補強。

04 · 招式 3Cross-check

多 AI 交叉比對

  • 同題多答 · ChatGPT / Claude / Gemini 各問一次,三家都同的較可信
  • 互相詰問 · A 答丟給 B 評論,三輪後通常露餡
  • 抽查關鍵 · 數字、日期、人名、法條編號最易錯,必查
Before · 不做這件事

三家 AI 都說得很像就相信

Ken 問三家模型,三家都說某材料可進口,他以為安全;其實來源都抄同一篇舊文。

After · 做了之後

交叉比對還看來源獨立性

他要求列出來源類型與日期,只採政府、海關、原廠三種獨立來源;隔天取得正確 HS code。

03 / Demo

高風險場景|雙重驗證 SOP

  1. Domain / 01

    法律

    AI 幫你整理問題與初步理解,絕不取代律師判斷。引用條文必須回到法源平台原文確認。

  2. Domain / 02

    醫療

    AI 幫你讀懂報告、準備就診問題,但診斷與用藥一定回診醫師。新藥資料可能落後 6–12 個月。

  3. Domain / 03

    金融 / 稅務

    稅率、計算公式、申報期限都可能舊資料。重要決策回國稅局或會計師確認。

資安觀念

  • 01身分證、護照、銀行帳號、薪資、健康紀錄不要直接貼進公開 AI
  • 02真要分析機密文件,用 LM Studio 跑本機模型或企業版 ChatGPT / Claude
  • 03先做遮罩 — 人名換 A 先生、公司名換 X 公司、金額換比例
04 / Practice

課堂演練|AI 幻覺識別測驗

看似合理的 AI 回答,你來判斷哪個是幻覺。

10 min
Tool / Hallucination Quiz 5 題 · 即時評分
Teaching / Expansion

教學講義|查證不是懷疑 AI,而是管理風險

AI 會用流暢語氣包裝不確定資訊,所以查證能力不是加分技能,而是使用 AI 的基本安全帶。你要建立三層防線:來源、批判、交叉比對。

Core · 01

三類幻覺與真實案例

幻覺不是 AI 壞掉,而是語言模型在資料不足時仍嘗試產生合理文字。越專業、越冷門、越近期,越要查。

  • 事實型:把愛因斯坦諾貝爾獎類別講錯,聽起來小但代表基本事實可錯。
  • 引用型:美國律師曾提交 AI 編造的判例,導致法院制裁與職業風險。
  • 推理型:AI 看見「毛利率提高」就推論經營改善,卻忽略收入大幅下滑是因砍掉低毛利產品。

提醒:越像專家口吻,越不能跳過查證。

Before · 不做這件事

高風險場景只靠 AI 一句話

阿芳把醫療檢查、Jerry 把投資決策、老闆把合約條款都交給 AI 下結論,三件事都有高額錯誤成本。

After · 做了之後

法律醫療金融做雙重驗證

AI 只負責整理問題與選項,再交醫師、法務或會計確認;每案至少保留 2 個外部來源與人工簽核。

Core · 02

來源工具怎麼用

有來源的 AI 不是保證正確,而是讓你有地方查。任務不同,來源工具也不同。

  • Gemini Deep Research:我用它做產業趨勢初稿,再點開原文確認日期。
  • Perplexity / Felo:我用它找新聞與政策入口,快速抓第一批來源。
  • NotebookLM:我用它查公司 SOP,因為它只依我上傳資料回答。
  • 政府與官方網站:稅務、法規、醫療公告最後都回官方。

關鍵差異:來源不是裝飾,來源是你要親自點開的證據。

Before · 不做這件事

高風險場景只靠 AI 一句話

阿芳把醫療檢查、Jerry 把投資決策、老闆把合約條款都交給 AI 下結論,三件事都有高額錯誤成本。

After · 做了之後

法律醫療金融做雙重驗證

AI 只負責整理問題與選項,再交醫師、法務或會計確認;每案至少保留 2 個外部來源與人工簽核。

Core · 03

自我批判魔法咒語

讓 AI 自我批判,目的是逼它標出假設與不確定,而不是叫它再生成一篇更有自信的文章。

請重新審視你剛才的回答。
請用嚴格審稿人角度檢查:
01 哪些敘述是事實,哪些只是推測?
02 哪些數字、日期、人名、法條或來源需要查證?
03 有沒有可能使用過時資料?
04 反方會怎麼批評這個結論?
05 信心低於 90% 的地方請標「資料不足」。
請不要美化原答案,直接指出問題。

適用場景:法律、醫療、投資、採購、公開發言前都要跑一次。

Before · 不做這件事

高風險場景只靠 AI 一句話

阿芳把醫療檢查、Jerry 把投資決策、老闆把合約條款都交給 AI 下結論,三件事都有高額錯誤成本。

After · 做了之後

法律醫療金融做雙重驗證

AI 只負責整理問題與選項,再交醫師、法務或會計確認;每案至少保留 2 個外部來源與人工簽核。

Core · 04

投資決策三家輪用

投資題最容易被流暢敘事誤導。用三家 AI 交叉比對時,要讓它們扮演不同角色,而不是問同一句話。

  • ChatGPT:整理商業模式、成長論點與主要風險。
  • Claude:扮演反方投資委員,攻擊估值、競爭與現金流。
  • Gemini:查最新財報、新聞、法說會與來源日期。
  • 人工:回原始財報與券商資料確認數字。

提醒:三家都同意也不等於真,只代表值得進入人工查證。

Before · 不做這件事

高風險場景只靠 AI 一句話

阿芳把醫療檢查、Jerry 把投資決策、老闆把合約條款都交給 AI 下結論,三件事都有高額錯誤成本。

After · 做了之後

法律醫療金融做雙重驗證

AI 只負責整理問題與選項,再交醫師、法務或會計確認;每案至少保留 2 個外部來源與人工簽核。

高風險踩雷與補救流程

法律:AI 編出不存在判例。
補救:回法源平台查條文與判例,請律師確認,AI 只保留問題清單。

醫療:AI 根據症狀推測疾病,忽略用藥史。
補救:整理症狀時間線與檢驗數字,回診問醫師,不自行停藥。

金融 / 稅務:AI 使用舊稅率或過期補助。
補救:回國稅局、主管機關或會計師確認日期與適用條件。
你是風險查證助理。
請檢查以下 AI 回答是否可能有幻覺。
輸出:
01 高風險句子
02 為什麼可疑
03 需要查的來源
04 查證順序
05 在查證前不能採取的行動
限制:不要直接替我做法律、醫療、金融結論。

Hallucination Quiz 建議測驗主題

  • 錯誤引用:看起來像真的論文或判例。
  • 過時資料:舊稅率、舊補助、舊模型規格。
  • 推理跳躍:數字正確但結論錯。
  • 來源不匹配:引用連結存在但不支持結論。

查證分級表

  • Level 01:低風險文字,例如社群貼文草稿,只需人工讀過語氣。
  • Level 02:對外商務內容,例如報價信、提案,需查產品規格與承諾條件。
  • Level 03:高風險決策,例如法律、醫療、投資、稅務,需回官方來源或專家。
  • Level 04:不可外流資料,例如個資、薪資、病歷、客戶名單,先做遮罩或改用本機模型。

心法:查證成本要跟錯誤成本成正比;錯一次會造成損失的任務,就不能只靠 AI 自信語氣。

最後檢查口訣:先問來源,再問反方,最後問另一家 AI;三步都過,才進入人工決策。