記者:陳慧敏、馬麗昕
當台師大師大運動競技系學生的簡奇陞拿下墨鏡說:「該遮遮掩掩的並不是我」,她簡單有力的語言,控訴師大女足隊教練周台英「抽血換學分」、台師大荒腔走板的回應與國科會的缺乏作為,她的勇氣令人感動。台師大女足抽血案獲得輿論關注的同時,網路世界卻意外發生另一個小插曲。
一位熱血好心的網友原本想協助「調查起底」女足隊教練周台英。不料,卻誤用Gemini,虛構出教練與台師大劉姓教師共同掛名指導以及發表的「AI幽靈」期刊論文,一度引發媒體與網民網爆、撻伐劉姓教師,然而,劇情卻也急轉,這位網友發現自己的資訊有誤而發道歉聲明。
實際上,「AI虛構文獻」已不是單一個案,中山大學社會學系教授葉高華在日前就查詢到屏東大學、南華大學兩位碩士生論文出現冠他名字的AI虛構研究,兩位研究生被勒令重做研究論文。直到被踢爆,指導老師和研究生才恍然大悟「ChatGPT等生成式AI會捏造文獻」。
這位網友道歉的同時,也把自己跟Gemini的對話截圖提供外界檢視。從網友與對話紀錄截圖可看出,當民眾誤用生成式AI,且將生成式AI作為唯一查證工具時,反而誤上了AI幻覺的當,無益於真相的釐清。
這篇報導想透過這位網友提供的對話截圖過程,帶著讀者一起了解,他是怎麼「一步步誤用AI」呢?他是進入了什麼AI誤區,又如何一次次跟真實錯身呢?
誤區一:生成式AI的幻覺
這位網友是透過跟Google Gemini互動,請Gemini找出「周台英」發布的相關研究與論文,在一來一往的過程中,Germini幫忙「找出」周台英與劉錦璋共同指導的論文與研究,這位網友透過不斷下指令,來搜尋並請Germini整理出周和劉雙掛名指導的相關論文與研究。
Gemini生成的論文和研究,資訊看似完整,標題、作者、發表日期、刊物名稱等一應俱全,甚至還附上連結,整理得又快又好。但實際上,全部都是一本正經的胡說八道。這位網友上了Gemini的第一次當。
這位網友就在Gemini幻覺的資料裡開始出發,走上這個錯誤百出的「起底」之旅。
誤區二:明明都「查無資料」,還盲目堅信生成式AI
使用生成式AI最基本的概念就是,生成式AI生出的文字,易產生誤讀、扭曲、失真,甚至會出現完全虛構的訊息。要怎麼破解AI幻覺?答案很簡單,就是點回原始資料出處去閱讀、確認,並查證外部相關專業資料庫。這個動作,看似很笨、很浪費時間,卻非常有效。
這位網友在Gemini生成兩位老師的掛名研究、共同指導論文和研究後,其實也有持續的求證,這位網友透過Gemini互動,實際進入國家圖書館、全國碩博士論文資料庫等網站去手動查詢,得到「查無此論文資料」的答案。
然而,這位網友並不相信自己手動查證的結果,跟真實錯身。他卻反問Gemini為何「找無資料」,Gemini馬上致歉自己資料過時,再次掰出論文因學術倫理而「被下架」,反而以「找不到」作為論文倫理問題嚴重的有力證據;網友也到另一篇假研究的期刊〈運動表現〉去搜尋,當然也是找不到,他又回來問Gemini怎麼會這樣,Gemini告訴他,這是研究因為學倫問題也被撤除下架了。Gemine的二次瞎掰,讓這位網友上了第二次當。
生成式AI為什麼會憑空虛構出「研究文獻」?台大電機系教授李宏毅解釋,不管是哪一種生成式AI,其原理都是文字接龍,憑著猜測,把文字接龍出來。因此,當生成式AI洋洋灑灑列出文獻,「你要理解成你手上沒有書,回答時都憑著想像力講出來」,即使生成式AI答對了,也可能是模型先把問題丟去問搜尋引擎,依據搜尋結果做文字接龍而接對,「但這都是接龍,可能對可能錯,一定要再去另一個資訊管道查證。」
政治大學應用數學系副教授兼學務長蔡炎龍說:「這位網友去追查原始出處,這一點做得很好,唯一可惜的是,他不相信自己親手查到的結果。」
身為AI專家,蔡炎龍提供一點都不AI的查證方法。他說,若要求證學術研究是否被撤下,可以查一查學校和研究機構的公告和聲明,甚至可以直接致電去問期刊出版社,「這些查證動作都很土法煉鋼,卻是最有效確認真實的方法。」
然而,這位網友始終沈浸在Gemini世界裡面,這位網友問Gemini怎麼會知道這些被下架的資料,還請Gemini使用「AI快照」資料,來撈出這些被下架的論文和研究,Gemini煞有其事地跟他互動了,「生成式AI並不是想像中的偉大資料庫,而是根據先前輸入的文字去接龍,當然就無法去記憶和撈取在某個被下架的網頁或資料。」蔡炎龍解釋。
蔡炎龍看到傳言當天就動手查。他的做法是去Internet Archieve等網頁儲存網站,追查兩位老師研究網頁的歷史存檔,確認是否真有「論文下架」的數位足跡,他並沒有依賴生成式AI來互動問答。
誤區三:生成式AI「順話接龍」 成資訊幻覺最大誤區
後來,從對話紀錄可以看到這位網友一再跟Gemini「求證」,例如他問:「再次跟你確認,這兩位是真有其人,paper也是都有的吧?」當然,Gemini回答「我跟您100%再次確認,這是一個絕對肯定的結論」。甚至後來被網友質疑他的訊息有錯了,他還回去繼續跟Gemini對話,想再次確實有這些論文和研究。
交通大學智慧科學暨綠能學院副教授許志仲解釋,Gemini功能很強也很穩定,但是,它的確可能會依照使用者的指令來進行「附和」,生成式AI的確有許多狀況是讓它無法精確搜尋到資料,比如,網頁太多、PDF檔案太長、圖案太多等,它即使沒搜集到資料,卻跟人一樣會「腦補」。
許志仲舉自己的日常實測為例,當他做研究時,若下指令告訴生成式AI找某個研究方法的缺點,它就使命必達,即使該研究方法沒有顯著缺點,它仍舊生成一些非事實,或打高空砲那種模糊大哉問。
也就是說,不管哪一種生成式AI,在對話過程常提供給使用者「滿滿的情緒價值」,會順著使用者的態度和提問去找話。當這位網友去問「也是有的吧?」生成式AI很容易就順著話接龍了。
而在追查過程,這位網友看到虛構論文和研究都提到另外兩個學生名字,他追問Gemini這學生是否畢業、什麼背景。「基本上個人隱私資料不會用來做訓練資料,生成式AI很容易自己瞎掰,就算沒有給它任何資料,它也會掰出一大串,若生成式AI是上網搜尋,網路同名同姓的很多,也可能搜錯答案。」蔡炎龍解釋。
李宏毅從模型訓練原理補充說明。他說,大型語言模型(LLM)的訓練有兩個階段:
第一個階段是運用網路大量資料去做學習,如果它有爬過個人資料,也許有能力在接龍時接對,但它到底爬過多少個資其實不知道。
第二階段是讓生成式AI傾向不回答個資,「當生成式AI回答個資,使用者要理解這是接龍,也有可能沒有基於任何資料,不是事實」。
德國《明鏡週刊》2月發生投書烏龍事件,當時的投書作者就犯了相同錯誤。投書作者在聽到對在野黨主席在大學時代教學耳語,把耳語拿來問DeepSeek,之後又跟ChatGPT「查證」,得到更多瞎扯的個人醜聞細節,而被《明鏡週刊》採納刊登,最終被踢爆下架。使用者其實就犯了把「詢問隱私」、「問兩個生成式AI等於求證」的謬誤。
然而,一直反覆詢問生成式AI,不等於「查證」。問了這個帳號的Gemini,又再去問另一個帳號的Gemini,也不是查證。問了Gemini,再去問ChatGPT,兩個生成式AI都講一樣的答案,也不等於查證。
跳出生成式AI的「幻覺」鬼打牆
生成式AI會有AI幻覺(hallucination),這是問題嗎?OpenAI創始元老Andrej Karpathy在2023年x平台貼文曾說,「大型語言模型所做的就是幻覺,他們就是造夢機器。」
I always struggle a bit with I'm asked about the "hallucination problem" in LLMs. Because, in some sense, hallucination is all LLMs do. They are dream machines.
每當有人問我大型語言模型(LLM)的「幻覺問題」時,我總是有點困惑。因為從某種意義上來說,LLM所做的就是幻覺。他們是造夢機器。
We direct their dreams with prompts. The prompts start the dream, and based on the LLM's hazy recollection of its training documents, most of the time the result goes someplace useful.
我們用提示引導他們的夢境。提示詞開啟了夢境,而根據LLM對其培訓資料的模糊記憶,大多數情況下,提示的結果都會有用。
It's only when the dreams go into deemed factually incorrect territory that we label it a "hallucination". It looks like a bug, but it's just the LLM doing what it always does.
只有當夢境涉及被認為與事實不符的領域時,我們才會稱之為「幻覺」。它看起來像個 bug,但這只是大型語言模型一貫的做法。
「幻覺就是生成式AI的本質,我們理解到這個,就會知道生成式AI的內容都必須要經過人去一一確認」蔡炎龍說。
蔡炎龍說,生成式AI處理的資料量很大,用生成式AI來搜尋、整理研究文獻和報告時確實很好用,也很便利。不過,生成式AI不是「資料庫」,也不是「聰明聽得懂問題的機器人」,它仍是一個「文字接龍」。
蔡炎龍接著說,ChatGPT、Google Gemini即使多加「網頁搜尋」搜尋的功能,使用者也很難判斷生成式AI是否使用搜尋結果來回答,即使訊息引用自網頁資料,也可能會有摘要扭曲、解讀錯誤、連結無中生有,所以使用時,「因為不知道哪一個環節會出錯,研究者都必須要一一去檢視原始連結和出處,去閱讀要引用的研究和報告,原本就是要研究者要做的功夫。」
李宏毅則建議,生成式AI的強項是潤稿,出錯機率最小,不過如果稿子裡面有提供英文連結,也必須重新檢查,「要把模型當作助理,所有要發表出去的東西,即使生成式AI有附上出處連結,都要自己一一檢查過」。
台師大女足隊教練抽學生血的事件,透過大眾的關注,給受害學生得到尋求正義。網友們不再袖手旁觀,捲起袖子來一起幫忙調查、共同挖掘讓真相得以見光。但使用生成式AI來查找資料的時候,務必要記得,生成式AI的使用心法,才能避免AI幻覺鬼打牆,阻礙調查之路。
閱聽眾也須理解AI並非查核真相的工具。即便AI模型及功能突飛猛進,仍然容易產生幻覺,或是依據使用者的提示,而產生錯誤的結果。切勿以AI作為減省步驟的便利工具。若要查證事實,仍須透過一步一腳印,動手查證。
AI識讀秘招:使用生成式AI的5大心法
到底閱聽眾要如何正確使用生成式AI工具如chatGPT、Perplexity、Gemini,以下綜整AI專家達人提到使用生成式AI的資料查證心法,整理為五大心法:
1.掌握生成式AI原理。
2. 使用者應該查核生成式AI所提供的事實細節與資料。
3.對於生成式AI提供的鏈結,應該自行檢核該鏈結是否存在。
4. 放下生成式AI工具,自己另行查核資料的原始資料庫。
若是要查核學術論文存在與否,使用者可以查詢Google Scholar, 博碩士論文網加值系統,或是各大學圖書館所提供的線上資料庫。
5. 別忘了也可以致電、寫信詢問真實世界裡訊息的來源單位。
資料來源
網友提供與Gemini的互動截圖
此文期望大家共同透過此案例來了解使用生成式AI可能犯的錯誤,以及使用生成式AI的心法。