用 AI 讀文獻,哪些地方必須自己查證
AI 很適合幫你快速掌握一篇文獻的輪廓,但有七個地方,它最容易出錯、也最不能直接相信。附一份三分鐘查證流程,適合指導教授要求學生照做。
現在要研究生不用 AI 讀文獻,大概已經不太可能。外文論文丟進去,幾秒鐘就有中文摘要;十幾篇文獻一起問,馬上就能整理出幾個主題。對剛進研究所、英文閱讀還不夠快的學生來說,這是很大的幫助。
問題在於,AI 的錯誤通常不像錯誤。它寫得流暢、格式整齊、語氣篤定。學生很難從文字本身看出哪裡不對,往往要到 meeting 時被老師問一句「這篇真的這樣說嗎?」才發現。
這篇整理的是:用 AI 讀文獻時,哪些地方最容易出錯,以及怎麼用最少的時間把關。
AI 擅長什麼
先說公道話。用 AI 讀文獻,以下幾件事它做得相當好:
- 快速掌握輪廓:這篇在研究什麼、用什麼方法、大致結論是什麼
- 降低語言門檻:把外文段落轉成中文,幫助理解
- 初步分類:把一批文獻依主題、方法或理論粗略分組
- 找出可能相關的段落:在長篇文獻中先指出可能要細讀的地方
這些都是「讀之前」和「讀的過程中」的輔助。問題出在學生把 AI 的輸出當成「讀完的結果」,直接寫進論文。
七個必須自己查證的地方
1. 文獻本身是否存在
這是最基本、也最嚴重的問題。
2023 年發表於 Scientific Reports 的一項研究,請 AI 聊天工具針對多個主題撰寫短篇文獻回顧,再逐筆檢查它附上的 636 筆參考文獻。結果發現,較早一代的模型有 55% 的引用是捏造的,較新一代仍有 18%;即使是真實存在的文獻,也有相當比例在作者、年份、期刊或頁碼上有實質錯誤。
這類捏造的文獻看起來完全正常:作者名字合理、期刊名稱真實、標題也像那個領域會有的題目。唯一的辨別方法是去查。
怎麼查:用標題到 Google Scholar 或學校圖書館的資料庫搜尋,確認能找到原文,且作者、年份、期刊都對得上。有 DOI 的,直接查 DOI 最快。
2. 引用的內容是否真的出自那篇
文獻存在,不代表 AI 說它「指出了某件事」是真的。常見的情況是:AI 把 A 文獻的觀點說成 B 文獻的,或把一篇文獻在文獻回顧中轉述別人的觀點,當成這篇自己的發現。
怎麼查:找到 AI 所說的那個觀點在原文的哪一頁、哪一段。找不到,就不能引用。這也是 APA 要求直接引用必須標註頁碼的原因之一(常見的格式錯誤,可以參考〈APA 第 7 版內文引用:改學生論文時最常圈出來的 10 個錯誤〉)。
3. 結論是否被放大了
這是比捏造更隱微、也更容易被忽略的問題。
2025 年發表於 Royal Society Open Science 的一項研究,比較了十款主流 AI 模型對科學文獻產出的 4,900 份摘要。研究發現,AI 摘要出現「過度概括」的機率,是人類撰寫摘要的近五倍(勝算比 4.85)——例如把「在這個樣本中觀察到」寫成「研究證實」,把過去式的發現寫成現在式的普遍結論。更值得注意的是,即使明確要求 AI 要準確,多數模型的摘要仍然比原文說得更廣;研究者也觀察到,較新的模型在這方面並沒有比較好。
對社會科學尤其要緊。一篇針對特定族群、特定地區的質性研究,被摘要成一句普遍性的結論,放進文獻回顧裡,論證的基礎就已經偏了。
怎麼查:對照原文的結論段與研究限制段,看看作者自己用了多保留的語氣。
4. 樣本、情境與研究限制
AI 摘要最常省略的,就是研究的邊界:樣本是誰、多少人、在哪裡、什麼時候;作者自己承認的限制有哪些。
這些資訊在摘要裡看起來是細節,在論文裡卻決定了這篇文獻能不能支撐你的論點。
怎麼查:讀原文的「研究方法」與「研究限制」兩節。這兩節通常不長,卻是判斷一篇文獻適用範圍的關鍵。
5. 數字與統計結果
數字是 AI 最容易「看起來對」的地方:樣本數、百分比、相關係數、顯著水準。少一個小數點、把兩組數字對調、把描述統計當成推論統計,都很難從摘要本身察覺。
怎麼查:論文裡用到的每一個數字,都回到原文的表格或內文確認。
6. 專有名詞與概念的翻譯
社會科學的概念翻譯,常常帶著學術社群長期的爭論與共識。同一個英文概念,在不同領域可能有不同的慣用譯名;有些概念甚至刻意不翻譯,直接使用原文。
AI 給的翻譯可能通順,卻不是你們領域的慣用譯法,或把兩個相近但不同的概念譯成同一個詞。
怎麼查:第一次使用某個核心概念時,查一下領域內重要的中文文獻怎麼譯;不確定時,在中文後面括號附上原文。
7. 時效:有沒有更新的研究,或已經被撤稿
AI 的知識有時間範圍,對最新的文獻未必掌握。另一個較少人注意的風險是:被引用的文獻後來可能已經被更正或撤稿。
怎麼查:重要的文獻,到出版社頁面確認有沒有更正或撤稿聲明;Retraction Watch 也有可查詢的撤稿資料庫。寫文獻回顧時,用資料庫搜尋最近兩三年的研究,補上 AI 可能遺漏的部分。
三分鐘查證流程
以上七點聽起來很多,實際操作時可以濃縮成一個簡單的流程。每一篇要引用進論文的文獻,花三分鐘做這三件事:
- 找到原文(一分鐘):確認文獻存在,作者、年份、期刊正確。
- 找到那一段(一分鐘):你要引用的觀點,在原文的哪一頁。
- 讀結論與限制(一分鐘):確認你的寫法沒有比原作者說得更多。
三分鐘做不完的,代表這篇文獻對你的論文很重要,本來就應該細讀。
給指導教授:怎麼讓學生真的這樣做
把「追得回原文」變成 meeting 的固定問題。 學生報告文獻時,隨機挑一兩個論點問:「這是在第幾頁?」不是為了抓錯,而是讓學生知道,每一句都要能指回原文。幾次之後,這會變成學生自己的習慣。
要求初稿附上 AI 使用說明。 學生寫明哪些部分用了 AI 協助、做了哪些查證,老師讀稿時就知道該把注意力放在哪裡。
選擇回答能指回原文的工具。 如果團隊有統一使用的 AI 工具,優先考慮回答會附上出處、能直接跳到原文段落的工具。它不能取代查證,但能讓每一次查證從幾分鐘縮短到幾秒鐘。我們開發 Pensieve AI 時,也把「每一句回答都追得回原文」當成最基本的要求。
AI 讓讀文獻變快了,但「讀過」的定義沒有改變:你能為自己引用的每一句話負責。查證不是對 AI 的不信任,而是研究者對自己作品的基本責任。
參考資料
- Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5
- Peters, U., & Chin-Yee, B. (2025). Generalization bias in large language model summarization of scientific research. Royal Society Open Science, 12(4), 241776.
- Retraction Watch Database. https://retractiondatabase.org/
延伸閱讀
- APA 第 7 版內文引用:改學生論文時最常圈出來的 10 個錯誤
一份可以直接轉給研究生的內文引用檢查清單,中英文範例並列,涵蓋作者數、頁碼、二手引用與參考文獻對照。 - 指導教授如何替研究團隊訂 AI 使用守則(附範本)
學校有課堂規範、期刊有投稿政策,研究團隊卻常常沒有自己的規則。這篇整理守則該涵蓋的六個面向,並附一份可直接修改使用的範本。