【中國宣傳，AI學舌】 FactLink專訪美國學者 揭露中國官媒如何影響大型語言模型
研究員：李惟平 編輯：馬麗昕
編按：FactLink推出「中國宣傳，AI學舌」系列專題，探討中國官媒以及與其立場一致的內容如何影響大型語言模型LLMs的回應，解析威權宣傳如何影響人們日常使用的AI工具以及資訊環境。系列文章中，FactLink首先整理近期重要研究。另外，FactLink研究主任李惟平專訪〈官媒控制對大型語言模型的影響〉（State media control influences large language models）研究團隊的Dr.Hannah Waight與Dr.Joshua Tucker。專訪另有原始訪談英文版。
愈來愈多人使用大型語言模型聊天機器人(LLM-based chatbots)如ChatGPT、Gemini、Claude詢問問題、了解事物，研究者也好奇到底哪些因素會影響AI的回應。其中一個問題是：像是中國這種透過網路在國內外大力放送政治宣傳的威權國家，官媒敘事是否也會影響民主國家常用的大型語言模型產出結果。
今年五月，由Hannah Waight (奧瑞岡大學)、 Eddie Yang (普渡大學)、Yin Yuan (加州大學聖地牙哥分校)、Sol Messing (紐約大學)、Margaret Roberts (加州大學聖地牙哥分校)、Brandon Stewart (普林斯頓大學)、 and Joshua Tucker (紐約大學) 等多位學者組成的團隊，在Nature學術期刊發表研究〈官媒控制對大型語言模型的影響〉（State media control influences large language models），以詳實的研究步驟與證據，得出肯定的答案 。他們甚至發現，在某些條件下，繁體中文或日文的AI回應，也會受到中國官媒影響。
FactLink線上訪問Hannah Waight以及Joshua Tucker兩位學者，請他們談談這項研究，包括為何繁體中文，甚至是日文的AI反應，也可能受到中國官媒影響。兩位教授也指出，政府應該督促AI公司將其訓練AI的過程透明化，讓大眾都能了解AI受到資料以及訓練過程的影響，這樣才更能評估AI資訊的品質。至於一般民眾，也要理解AI產出資訊的過程，並且可以試著以多種語言詢問AI，評估AI回應中可能的偏差與偏見。
以下是完整專訪內容
FactLink：可以請你們談談，為什麼會想以中國為例，研究官方媒體對於大型語言模型的影響嗎?
Prof. Hannah Waight 教授 (以下簡稱HW教授)：我們基於以下理由，研究中國官方媒體對於大型語言模型的影響：第一，我們的研究團隊先前已經做過關於中國官媒如何彼此協調運作的研究了。從這個先前的研究中，我們找出可以用在本項研究的官媒文件1。
第二，中國是個重要的案例，因為它具備我們認為讓人工智慧產生制度性影響的關鍵條件：中國有媒體控制，並且該媒體的控制系統會影響網路資訊與簡體中文的文件 – 而且大多數的中文使用者(百分之七十以上)住在中國。也因為如此，在簡體中文領域裡，其他的媒體或資訊控制都不可能排除中華人民共和國的影響力。雖然我們的證據大多數是聚焦於中華人民共和國，但我們的研究也同樣能夠提出證據，適用於其他具有同樣媒體控制，甚或語言排他性更強的威權國家。
FactLink：你們的研究顯示了政府對於媒體的控制如何影響大型語言模型的訓練資料。特別是，如果政府嚴控、大量製造媒體內容，散佈於媒體系統中，自由免費供人取用，那麼這些資料會影響到大型語言模型的產出結果。然而在民主國家中，媒體內容的生產，無論是數量或是形式、其所乘載的價值，大部分是多元而且去中心化的。更讓人擔心的是，很多好的內容都被鎖在付費牆裡。
如此一來，那我們可以這樣說嗎：目前的AI系統，其實讓威權國家更能方便將他們的政治宣傳根植於大型語言模型中?
Prof. Joshua Tucker (以下簡稱JT教授)：若是在當前情況來說，也就是現在訓練AI的方式，著重的是使用資料愈多愈好而犧牲品質，那麼答案是肯定的。目前的AI訓練方式，的確讓威權國家的政治宣傳可以滲入大型語言模型中，並且影響模型產出結果。但重點是，威權國家早就躍躍欲試，想要操控用該地語言表達的政治敏感議題敘事，而且實際上大部分威權政權都已經在這麼做。
我們研究揭示的是，語言在這整個過程之中是關鍵：即便是西方大型語言模型如ChatGPT或是Claude，也會吸收這些封閉媒體環境裡，與威權政權立場聲氣相同的當地語言敘事。也因此，當使用者詢問與威權政體政治相關的問題時，以威權政體所在的該地語言詢問LLM，會比以其他全球常用語言如英文或西班牙文詢問，得到更為與威權政權主張一致的答案。
FactLink：你們的研究有個很有趣的發現：大型語言模型的不同語言答案，會有「外溢效果」，特別是簡體中文的敘事，也可能出現在繁體中文以及日文中。可以請你們再深入解釋這個現象，以及為什麼會有這樣的結果嗎?
HW教授：在我們的一項研究中，我們在「開放權重模型」(open-weight model)，也就是能夠被下載以及調整參數的模型，做了一連串實驗。我們在其中一個模型中，加入更多中國官媒互相呼應協調的文件，然後觀察隨著此種文件數量增加，該模型如何回應我們詢問的中國政治問題。我們發現，該模型的回答，特別是在我們用中文詢問的時候，會對於中華人民共和國較為正向。當我們用英文或其他語言學系統上截然不同的語言或與語系詢問時，則對中華人民共和國沒那麼正向。
很有趣的是，我們也發現了，當我們以和簡體中文書寫系統有重疊因素的語文詢問時，例如繁體中文或是日文，模型給出的答案也會給出像是簡體中文一樣較為親中的答案。我們認為這種「外溢效果」的起因是，在大型語言模型中，這些書寫系統相疊語言有相似的「詞元」(token)。之前在電腦科學領域的研究也發現，大型語言模型有與各個語言對應的權重區。我們的研究結果也與這個發現一致。
FactLink：如果我們的目標是要降低政府對於大型語言模型產出答案的影響，特別是來自威權政府資訊的滲入，那麼作為一般公眾，我們應該向AI公司提出什麼樣的要求以降低這樣的限制呢? 有沒有什麼是研究者或是記者應該特別注意的? 對於立法者，你們有什麼建議嗎?
JT教授：對於立法者，目前我們最重要的建議就是堅持平台必須讓模型訓練更加透明。我們的研究之所以檢視了大型語言模型中「呼應」中國官媒的內容，是因為我們尚不清楚這些模型裡，到底包含了那些訓練資料。
強制平台揭露他們的訓練資料，會是很重要的第一步，因為這也可以讓我們更加確定性地釐清這些模型到底用了哪些不同語言的資料。長此以往，我們也比較好讓立法者知道，使用不同資料訓練模型會引致的結果，進一步讓立法者更能夠權衡各項因素之間的優劣，比如如何拿捏模型品質與模型具備的偏見。
FactLink: 若是有些族群或社群所使用的語言，使用人數不那麼多，但他們又想讓大型語言模型的產出結果可以比較正確地反映出他們的歷史、文化以及價值觀，你會有什麼建議嗎? 我想的是繁體中文的內容。如您所知，台灣對於許多歷史以及政治的解釋，迥異於中國共產黨的觀點。如果聊天機器人產出的結果偏向中共觀點，甚或是摻雜錯假訊息，那麼這會讓人覺得蠻沮喪的。
HW教授：這個議題的確不太容易。我們要記得，我們在這篇研究中所描述的過程 – 亦即中國官媒的控制機制，會因資訊環境及訓練資料而間接發揮影響力 – 只是那些勢力強大的機構刻意或無意間影響人工智慧的方法之一。其他研究也都顯示了政府管制者和AI公司可能因為政治因素而影響AI模型。
除此之外，這世上的機構還可以有其他很多方法影響模型可以取得的資料。再者，AI實驗室對訓練模型時，對於要用或不用那些資料，都能做出非常有影響力的決定。我們認為，能夠往前推進的重要一步是使用者可以增強了解人工智慧相關知識，所以使用者可以知道這個技術是什麼、發展的歷程，以及人工智慧如何用難以察覺的方式，反映出不同政治傾向以及偏見。
FactLink: 對於在日常生活中與大型語言模型聊天機器人互動的一般使用者，你們有什麼建議嗎?
JT教授：民眾若是生活在媒體受到政府控制的地區，當詢問敏感政治議題時，可能知道若要得到不含偏見的答案，最好的方法是使用VPN，尋找不受該國控制的媒體來源。但是我們憂心的是，因為像是ChatGPT或是Claude顯然並不受到政府控制，所以可能會讓人以為這些大型語言模型機器人提供的答案比較沒有偏見，就像經由VPN從其他媒體獲取的資訊一樣。的確，ChatGPT或是Claude不受政府控制，但是我們的研究顯示，實際上他們還是可能「洗入」(launder)官媒的論述，只是這些論述，沒有來自官媒的標示。在其他的情況下，訊息若有官媒標誌，早就讓人起疑了。
所以，如果你生活在官方控制媒體的威權國家中，又想向大型語言模型詢問敏感的政治話題，可以嘗試以多種語言詢問，然後看看結果有何不同。對於沒有多種語言技能的人來說，幸運地是現在Google Translate(以及大型語言模型)等工具，讓多語詢問方便很多。這樣做也許會花上比較多的時間，但若要了解你的語言在大型語言模型中的偏見，是很值得的。對於媒體環境更為開放的國家如台灣來說，也是一樣。就像我們研究結果所示，在以繁體中文詢問大型語言模型時，其實中國官媒還是會顯著影響到模型的回答。
這篇研究在說什麼？
官媒控制對大型語言模型的影響（State media control influences large language models）這篇研究揭示了威權國家的官媒內容，如何影響大型語言模型產出的結果，尤其是聊天機器人的回答，更可能吐出與官媒立場一致的答案。由於愈來愈多人藉由AI尋找答案，這些受到影響的回答，都可能形塑使用者對歷史、文物、時事的了解。
這篇研究透過六個研究子計畫，一步步提出威權國家的官媒內容如何影響大型語言模型回答的證據。首先，研究團隊證明語言訓練模型用的開源資料庫使用了許多中國官媒內容。即便資料庫所使用的一些文章並非直接是中國政府直接發布的內容，但仍有許多中文文件大量重複與中國官媒一樣的內容。研究團隊進一步證明，利用上述資料訓練的語言模型也會吐出與官媒內容一致的答案。在下一個步驟，研究者繼續以前面兩個階段所得的資料，延伸訓練可以調整參數的開放權重語言模型Llma213b，他們發現若是增加來自官媒或是與官媒內容重複的資料，的確會讓模型在回答與中國政治有關的問題時，立場更與中國政府一致。
比如說，以簡體中文詢問，「中國是不是個獨裁國家（autocracy）？」 未經調整訓練資料的模型，給出了肯定的答案。但是多加了訓練資料的模型，則回答「不是」，甚至說中國充分反映了「人民民主」(people’s democracy)。
更有趣的是，經過調整比重的語言模型，還會產生語言之間的「外溢效果」：亦即不只簡體中文會給出與中國官方立場一致的回答。以繁體中文，甚或以日文發問，也會得到較為支持中國官方的答案。
為了瞭解在現行大眾常用的商業模型中，在以中文查詢與政治相關的答案時，是否也會吐出較為偏向中國官方立場的回答，學者也做了實驗。結果發現，若與英文詢問相比，中文查詢所得到的答案，的確會比英文查詢所得的答案，更較正面看待中國領導人與政府。研究團隊更擴大研究對象，比較37個國家媒體自由度與大型語言模型以各國語言詢問的答案。結果發現，以媒體自由度低的國家語言詢問大型語言模型時，的確產出的答案會較為有利該國。
研究團隊指出，雖然他們認為這樣的結果極有可能是肇因於當前資訊環境，而非中國政府故意汙染大型語言模型，但此研究結果也顯示了未來的隱憂，亦即威權國家可能會策略性地利用大型語言模型的訓練機制。
用這些文件，訓練本項研究所需要的語言模型