一月初的頭條新聞毫不含糊，而且都圍繞著一個主題：研究人員認為人工智慧有 5% 的機率會毀滅人類。
這是 發表在預印本伺服器 arXiv.org 上的一篇論文得出的令人清醒的結論。在論文中，作者報告了一項針對 2,778 名研究人員的調查結果，這些研究人員曾在知名人工智慧研究會議和期刊上展示和發表過作品——這是迄今為止在曾經默默無聞的領域中規模最大的一次民意調查，該領域突然發現自己正在探索人類未來的核心問題。“人們對人工智慧研究人員如何看待這些事情感興趣，”論文的共同主要作者、AI Impacts（開展這項調查的組織）的首席研究員卡特亞·格蕾絲說。“他們在關於人工智慧未來發展的對話中扮演著重要的角色。”
但一些人工智慧研究人員表示，他們擔心調查結果可能對危言聳聽的觀點有所偏頗。AI Impacts 的部分資金來自多個組織，例如 Open Philanthropy，這些組織提倡有效利他主義——這是一種在新興的哲學運動，在矽谷很流行，並以其對人工智慧未來與人類互動的末日展望而聞名。這些資金聯絡，以及調查中問題的框架，導致一些人工智慧研究人員公開談論使用推測性民意調查結果來評估人工智慧真實威脅的侷限性。
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您正在幫助確保有關當今塑造我們世界的發現和想法的具有影響力的故事的未來。
有效利他主義（Effective altruism，簡稱 EA）被其支持者稱為“知識專案”，旨在將資源用於儘可能大地造福人類生命。這場運動越來越關注人工智慧，將其視為人類的生存威脅之一，與核武器相當。但批評人士表示，這種對推測性未來情景的專注分散了社會對人工智慧已經構成的風險的討論、研究和監管的注意力——包括歧視、隱私和勞動權利等其他緊迫問題。
最近的調查是 AI Impacts 自 2016 年以來對該領域的第三次此類民意調查，要求研究人員估計人工智慧導致人類“滅絕”（或“物種同樣永久和嚴重的權力喪失”）的可能性。一半的受訪者預測機率為 5% 或更高。
但人工智慧促進協會（Association for the Advancement of Artificial Intelligence，AAAI）前主席托馬斯·G·迪特里希認為，以這種方式構建調查問題本身就會助長人工智慧構成生存威脅的觀點。迪特里希是約 20,000 名被邀請參與調查的研究人員之一——但在他通讀問題後，他拒絕了。
“與往年一樣，許多問題都是從人工智慧末日論者、生存風險的角度提出的，”他說。特別是，調查中的一些問題直接要求受訪者假設最終將構建出高階機器智慧，它被定義為在每項可能的任務中都能夠超越人類的機器。迪特里希指出，這並不是每位人工智慧研究人員都認為理所當然的事情。他說，對於這些問題，幾乎任何結果都可以用來支援有關人工智慧潛在未來的驚人結論。
“我喜歡這項調查中的一些問題，”迪特里希說。“但我仍然認為重點是‘我們應該擔心多少？’，而不是進行仔細的風險分析並制定政策來減輕相關風險。”
阿姆斯特丹大學的機器學習研究員蒂姆·範·埃爾文等其他人參與了調查，但後來感到後悔。“這項調查強調了關於人類滅絕的毫無根據的推測，但沒有具體說明這將透過何種機制發生，”範·埃爾文說。他表示，向受訪者展示的情景並未明確說明假設的人工智慧的能力或何時能夠實現。“這種模糊的、被炒作的概念是危險的，因為它們被用作煙霧彈……以轉移人們對目前正在發生的平凡但更為緊迫的問題的注意力，”範·埃爾文補充道。
AI Impacts 的首席研究員格蕾絲反駁說，重要的是要知道大多數接受調查的人工智慧研究人員是否認為生存風險是一個令人擔憂的問題。她表示，獲取這些資訊“不一定[要]排除其他一切，但我確實認為應該至少進行一次調查”。“不同的擔憂加在一起，都強調了要對這些事情保持謹慎。”
AI Impacts 獲得了名為 Effective Altruism Funds 的組織以及其他先前支援人工智慧生存風險運動的 EA 支持者的資助，這一事實促使一些研究人員認為，調查對生存風險問題的框架可能受到該運動的影響。
傳播研究員和記者尼裡特·韋斯-布拉特研究了有效利他主義者提高對人工智慧安全問題意識的努力，她說人工智慧社群中的一些人對關注生存風險感到不安——他們聲稱這是以犧牲其他問題為代價的。“如今，越來越多的人正在重新考慮是否讓有效利他主義為人工智慧行業和即將到來的人工智慧監管設定議程，”她說。“有效利他主義的名聲正在下降，反彈正在到來。”
“我想，在某種程度上，批評在於我們是 EA 支持者，這可能很難避免，”格蕾絲說。“我想我可能會譴責 EA 或其他什麼的。但就關於主題的偏見而言，我想我已經寫了一篇關於反駁人工智慧將導致人類滅絕的想法的最佳文章。”格蕾絲指出，她自己並不知道她所有同事對人工智慧生存風險的看法。“我認為，總體而言，AI Impacts 在信念方面比人們想象的更加多樣化，”她說。
為了捍衛他們的研究，格蕾絲和她的同事們表示，他們努力解決了往年對 AI Impacts 研究提出的一些批評——特別是相對較少的受訪者未能充分代表該領域的論點。今年，AI Impacts 團隊試圖透過聯絡更多的人並擴大參與者的會議範圍來增加受訪者人數。
但有些人表示，這種撒網式的調查仍然不夠廣泛。“我看到他們仍然沒有納入明確考慮倫理和人工智慧的會議，例如 FAccT [ACM 公平性、責任和透明度會議] 或 AIES [AAAI/ACM 人工智慧、倫理和社會會議]，”人工智慧公司 Hugging Face 的首席倫理科學家瑪格麗特·米切爾說。“這些是人工智慧和倫理方面的‘頂級人工智慧場所’。”
米切爾收到了加入調查的邀請，但沒有這樣做。“我通常只是不回覆我不認識的人發來的要求我做更多工作的電子郵件，”她說。她推測，這種情況可能有助於使調查結果產生偏差。“你更有可能得到那些沒有大量電子郵件要回復的人，或者那些渴望讓自己的聲音被聽到的人——所以更多的是資歷較淺的人，”她說。“這可能會影響難以量化的事情，例如在做出的選擇中捕捉到的智慧量。”
但還有一個問題是，一項要求研究人員對遙遠未來做出猜測的調查是否真的提供了任何關於人工智慧風險真實情況的有價值的資訊。“我不認為大多數回答這些調查的人都在進行仔細的風險分析，”迪特里希說。他們也沒有被要求支援他們的預測。“如果我們想找到這些問題的有用答案，”他說，“我們需要資助研究，以仔細評估每項風險和收益。”