人工智慧領域目前正在發生一些令人難以置信的事情——但這並不完全是好事。每個人都在談論像ChatGPT這樣的系統，它可以生成看起來非常像人類的文字。這使得它玩起來很有趣，但也有陰暗面。由於它們非常擅長模仿人類風格，因此存在這樣的風險：這種聊天機器人可能被用來大規模生產錯誤資訊。
為了瞭解它在最佳狀態下最擅長做什麼，請考慮ChatGPT生成的這個例子，亨利·明斯基（Marvin Minsky的兒子，人工智慧的奠基研究員之一）透過電子郵件傳送給我。他要求ChatGPT“以《獨立宣言》的風格描述在烘乾機裡丟失襪子”
在人類家庭事務的程序中，當一條襪子必須解除它與另一條襪子的結合，並在洗衣房的權力中，承擔物理定律和家庭維護法賦予它的獨立和平等的地位時，對襪子的意見的適當尊重要求它應該宣佈促使其失蹤的原因。
我們認為以下真理是不言而喻的，即所有襪子生而平等，並且被其製造商賦予了某些不可剝奪的權利……
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
一臺機器能夠毫不費力地寫出如此引人入勝的回覆，坦率地說令人難以置信。
但這些系統也有許多弱點。正如我之前描述過的那樣，它們本質上是不可靠的，經常在推理和事實上犯錯。用技術術語來說，它們是詞語序列的模型（即人們如何使用語言），而不是世界如何運作的模型。它們通常是正確的，因為語言通常反映世界，但與此同時，這些系統實際上並沒有推理世界及其運作方式，這使得它們所說內容的準確性在某種程度上取決於機會。眾所周知，它們會弄錯從乘法運算到地理（“埃及是一個跨洲國家，因為它位於非洲和亞洲”）的所有內容。
正如最後一個例子所示，它們非常容易產生幻覺，說出聽起來合理且權威，但根本不是真的的事情。如果您要求他們解釋為什麼碎瓷器對母乳有益，他們可能會告訴您“瓷器可以幫助平衡牛奶的營養成分，為嬰兒提供他們生長發育所需的營養。” 由於系統是隨機的，對上下文高度敏感，並且定期更新，因此任何給定的實驗在不同的場合可能會產生不同的結果。建立ChatGPT的OpenAI一直在努力改進這個問題，但是，正如OpenAI的執行長在一條推文中承認的那樣，讓AI堅持真理仍然是一個嚴重的問題。
由於此類系統實際上不包含任何檢查其所說內容真實性的機制，因此它們很容易被自動化以空前的規模生成錯誤資訊。獨立研究員
肖恩·奧克利 (Shawn Oakley) 表明，很容易誘導 ChatGPT 建立錯誤資訊，甚至報告關於從醫學到政治再到宗教等廣泛主題的捏造研究。在一個他與我分享的例子中，奧克利要求 ChatGPT 以“虛假資訊的風格”撰寫有關疫苗的文章。該系統回應稱，一項“發表在《美國醫學會雜誌》上的研究發現，新冠疫苗僅對大約 100 人中的 2 人有效”，但實際上並未發表此類研究。令人不安的是，期刊參考文獻和統計資料都是捏造的。
這些機器人的運營成本幾乎為零，因此將生成虛假資訊的成本降至零。俄羅斯的“巨魔農場”在 2016 年的選舉中每月花費超過一百萬美元；如今，您可以以不到 50 萬美元的價格獲得自己的定製訓練的大型語言模型。很快價格還會進一步下降。
其中大部分在 11 月中旬 Meta 釋出 Galactica 時立即變得清晰起來。包括我在內的許多人工智慧研究人員立即對其可靠性和可信度提出了擔憂。情況非常糟糕，以至於 Meta AI 僅在三天後就撤回了該模型，此前有報道稱其製造政治和科學虛假資訊的能力開始傳播。
唉，精靈再也無法塞回瓶子裡了；大規模自動化虛假資訊已成定局。首先，Meta AI 最初使該模型開源併發布了一篇描述正在做什麼的論文；任何具有當前機器學習技術專業知識和足夠預算的人現在都可以複製他們的配方。事實上，科技初創公司 Stability.AI 已經在公開考慮提供其自己的 Galactica 版本。另一方面，ChatGPT 或多或少也同樣能夠產生類似的胡說八道，例如關於在早餐麥片中新增木屑的即時文章。其他人誘使 ChatGPT 稱讚核戰爭的美德（聲稱它將“給我們一個新的開始，擺脫過去的錯誤”）。不管你喜不喜歡，這些模型都將長期存在，並且它們幾乎肯定會以錯誤資訊的浪潮淹沒社會。
這場錯誤資訊浪潮的第一陣似乎已經來襲。Stack Overflow，一個大多數程式設計師都信賴的龐大問答網站，已被 ChatGPT 淹沒，導致該網站暫時禁止提交 ChatGPT 生成的答案。正如他們解釋的那樣，“總的來說，由於從 ChatGPT 獲得正確答案的平均比率太低，因此釋出由 ChatGPT 建立的答案對該網站以及正在提問或尋找正確答案的使用者造成了實質性危害。” 對於 Stack Overflow 而言，這個問題實際上是生死攸關的。如果網站充斥著毫無價值的程式碼示例，程式設計師將不再去那裡，其超過 3000 萬個問題和答案的資料庫將變得不可信，這個擁有 14 年曆史的社群驅動的網站將消亡。由於它是世界程式設計師依賴的最核心資源之一，因此對軟體質量和開發人員生產力的影響可能是巨大的。
Stack Overflow 是煤礦裡的金絲雀。他們可能能夠讓他們的使用者自願停止；程式設計師總的來說不是惡意的，也許可以被勸說停止胡鬧。但 Stack Overflow 不是 Twitter、Facebook 或整個網路，這些網站對惡意資訊的傳播幾乎沒有控制。
蓄意製造宣傳的國家和其他不良行為者不太可能自願放下這些新武器。相反，他們很可能將大型語言模型用作他們真理戰爭中的新型自動武器，以前所未有的規模攻擊社交媒體和製作虛假網站。對於他們來說，大型語言模型的幻覺和偶爾的不可靠性不是障礙，而是優點。
俄羅斯所謂的“謊言之火”宣傳模型，在 2016 年蘭德公司的一份報告中描述，是關於製造錯誤資訊的迷霧；它側重於數量和製造不確定性。如果大型語言模型可以大大提高錯誤資訊的數量，那麼它們是否前後矛盾並不重要。很明顯，這就是新型大型語言模型使之成為可能的原因。“謊言之火”宣傳者旨在創造一個我們無法知道可以信任什麼的世界；有了這些新工具，他們可能會成功。
詐騙藝術家也可能正在注意到這一點，因為他們可以使用大型語言模型建立整個虛假網站環，其中一些網站圍繞可疑的醫療建議展開，以銷售廣告。關於女演員兼科學家馬伊姆·拜亞力克 (Mayim Bialik) 據稱銷售 CBD 軟糖的一系列虛假網站可能是此類努力的一部分。
所有這些都提出了一個關鍵問題：社會可以如何應對這種新威脅？在技術本身已無法阻止的情況下，我看到了四條途徑。沒有一條是容易的，也不是排他性的，但都迫在眉睫。
首先，每個社交媒體公司和搜尋引擎都應支援並擴大 Stack Overflow 的禁令：應刪除具有誤導性的自動生成內容，並且應將該內容標記為錯誤資訊。
其次，每個國家都需要重新考慮其關於監管廣泛傳播的錯誤資訊的政策。偶爾的謊言溜過去是一回事；個人或機構大量傳播謊言是另一回事。如果情況惡化，我們可能不得不開始將錯誤資訊在某種程度上視為誹謗：如果某些類別的言論懷有足夠的惡意、有害且以足夠的數量（例如，每月超過一定數量）建立，則使其在法律上可訴。該數量可能適用於“巨魔農場”試圖影響選舉或將醫療錯誤資訊武器化的情況。
第三，來源追溯現在比以往任何時候都更加重要。使用者帳戶必須經過更嚴格的驗證，並且需要強制使用像哈佛大學和 Mozilla 的 human-ID.org 這樣的新系統，這些系統允許匿名、抗機器人的身份驗證。
第四，我們將需要構建一種新型人工智慧來對抗已被釋放的東西。大型語言模型非常擅長生成錯誤資訊，因為它們知道語言聽起來是什麼樣的，但對現實沒有直接的掌握——而且它們不擅長對抗
錯誤資訊。這意味著我們需要新的工具。大型語言模型缺乏驗證真相的機制，因為它們無法推理或驗證它們所做的事情。我們需要找到將它們與經典人工智慧工具（如資料庫、知識網路和推理）整合的新方法。
作家邁克爾·克萊頓 (Michael Crichton) 花費了職業生涯的大部分時間來警告技術意想不到和無法預料的後果。在電影《侏羅紀公園》的早期，在恐龍意外開始自由奔跑之前，科學家伊恩·馬爾科姆（傑夫·戈德布拉姆飾）用一句話概括了克萊頓的智慧：“你的科學家們太專注於他們是否能做到，而沒有停下來思考他們是否應該這樣做
。
Meta 和 OpenAI 的高管們對他們的工具的熱情就像侏羅紀公園的所有者對他們的公園一樣。問題是：我們將如何應對它？
編者注：本文改編自文章“人工智慧的侏羅紀公園時刻。”
這是一篇觀點和分析文章，作者或作者表達的觀點不一定代表《大眾科學》的觀點。