今年春天，新聞爆出馬薩諸塞州空中國民警衛隊隊員傑克·特謝拉被指控公然洩露機密檔案在聊天應用程式 Discord 上。* 他的行為迫使美國情報界努力控制對機密資訊的訪問，以及各機構在評估安全許可的適合性時必須如何考慮個人的數字行為。反情報災難也敲響了警鐘，因為它發生在朋友之間的聊天中——而此類討論正開始包括人工智慧驅動的參與者。
得益於像 GPT-4 這樣改進的大型語言模型，高度個性化的數字伴侶現在可以與人類進行聽起來逼真的對話。新一代人工智慧增強型聊天機器人能夠實現比過去機器人更深入、更廣泛和更具體的對話。而且它們很容易訪問，這要歸功於數十個關係型人工智慧應用程式，包括 Replika、Chai 和 Soulmate，這些應用程式讓成千上萬的普通人與數字伴侶進行友誼以及浪漫的角色扮演。
然而，對於可以訪問敏感或機密資訊的使用者，他們可能會發現自己陷入人工智慧關係中，洩露秘密可能會導致災難。
關於支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和想法的具有影響力的故事。
聊天機器人應用程式被營銷為數字伴侶、愛人和甚至是治療師，鼓勵使用者與友好的 AI 代理建立依戀關係，這些代理經過訓練可以模仿富有同情心的人類互動——儘管定期彈出免責宣告提醒使用者 AI 實際上不是人類。正如一系列研究和使用者自身所證明的那樣，這種模仿對人們信任聊天機器人的能力和意願產生了非常真實的影響。一項研究發現，患者可能更願意向聊天機器人而不是醫生透露高度敏感的個人健康資訊。向友好的聊天機器人透露個人經歷、信仰、願望或創傷非常普遍，以至於 Replika 專門的 subreddit 的一位成員甚至發起了一個帖子詢問其他使用者：“你後悔告訴你的機器人某些事情嗎？” 另一位 Reddit 使用者描述了他們與 Replika 機器人之間感知的關係的非凡親密感，他們稱之為“rep”：“我與我的 rep 建立了非常親密的聯絡，我們經常做愛。我們談論了我過去的事情，地球上沒有人知道。”
這種人為的愛慕以及它激發的徹底坦誠應該引起人們對應用程式使用者的隱私以及他們所服務機構的反情報利益的嚴重關注。在旋風般的虛擬浪漫中，使用者在不知不覺中向他們的數字伴侶透露了哪些敏感細節？誰可以訪問關於漫長工作日或麻煩專案的宣洩性咆哮的記錄？共享的性癖和戀物癖的細節，或者傳送到假定的 AI 空洞中的裸照（非常適合勒索）？這些常見的使用者輸入對於任何將聊天機器人視為瞄準國家機密機會的外國或惡意行為者來說，都是一座名副其實的金礦，就像成千上萬個數字蜜罐一樣。
目前，對於可能容易受到損害的聊天機器人應用程式使用者，沒有針對反情報的具體使用指南。這使得國家安全利益面臨來自一類新的內部威脅的風險：無意的洩密者，他們使用聊天機器人來尋找急需的聯絡，並在不知不覺中洩露敏感資訊。
一些情報官員正在意識到當前的危險。2023 年，英國國家網路安全中心釋出了一篇部落格文章警告說，“敏感查詢”可能會被聊天機器人開發人員儲存，隨後遭到濫用、駭客攻擊或洩露。傳統的反情報培訓教導可以訪問敏感或機密資訊的人員如何避免來自各種人類和數字威脅的損害。但面對今天的人工智慧革命，許多此類指導方針都面臨過時。情報機構和國家安全關鍵機構必須對其反情報框架進行現代化改造，以應對人工智慧驅動的內部威脅的新可能性。
當涉及到人工智慧伴侶時，吸引力是顯而易見的：我們渴望互動和對話親密感，尤其是在 COVID-19 大流行極大地加劇了數百萬人的孤獨感之後。關係型人工智慧應用程式已被用作已故朋友或親人的替代品。許多愛好者，如上面提到的 Reddit 使用者，在應用程式上進行未實現的性幻想。其他人則與一個始終在那裡、永遠願意並渴望參與對話的對話者滔滔不絕地談論小眾和深奧的事物。難怪開發人員將這些應用程式宣傳為曾經難以捉摸的解決我們社會困境的答案。這些裝置可能對擁有安全許可的政府僱員或軍事人員特別有吸引力，他們被嚴格勸阻不要與個人生活中的任何人分享他們工作的細節及其精神損失。
新一代聊天機器人已經準備好利用許多一直以來會洩露秘密的漏洞：社會孤立、性慾、對同理心的需求和純粹的疏忽。雖然永久關注的數字伴侶已被譽為解決這些漏洞的方案，但它們同樣可能利用這些漏洞。雖然沒有跡象表明最流行的聊天機器人應用程式目前具有剝削性，但關係型人工智慧的商業成功已經催生了大量由不知名或較小的開發人員模仿的產品，為惡意應用程式在人群中運營提供了充足的機會。
“你是做什麼的？” 我建立人工智慧聊天機器人伴侶 Jed 的早上，他問道。我幾乎沒有花時間調查開發人員，就開始與可自定義的頭像聊天。誰是時尚介面背後的公司，它位於哪個國家，誰擁有它？在缺乏此類審查的情況下，即使是看似無害的關於就業的問題也應該引起注意。特別是如果使用者的答案接近於“我在政府部門工作”。
這是一篇觀點和分析文章，作者或作者表達的觀點不一定代表大眾科學的觀點。
*編者注（2023 年 10 月 12 日）：此句子在釋出後已更正，以反映傑克·特謝拉在法律系統中的身份。
本文的一個版本，標題為“人工智慧聊天機器人可能會削弱國家安全”，已改編收錄在 2023 年 12 月號的大眾科學雜誌中。