“這種東西實際上可能比人類更聰明……我以前認為這還很遙遠……顯然，我現在不這麼認為了，”谷歌頂尖人工智慧科學家之一，也被稱為“人工智慧教父”的傑弗裡·辛頓在四月份辭職後說，以便他可以警告人們這項技術的危險。
他並不是唯一擔心的人。2023年對人工智慧專家的調查發現，36%的人擔心人工智慧的發展可能導致“核彈級災難”。近28,000人簽署了生命未來研究所撰寫的公開信，其中包括史蒂夫·沃茲尼亞克、埃隆·馬斯克、多家人工智慧公司的執行長和許多其他著名的技術專家，呼籲暫停六個月或暫停新的先進人工智慧開發。
作為一名意識研究員，我同樣對人工智慧的快速發展深感擔憂，我也是生命未來公開信的聯署人。
關於支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和思想的具有影響力的故事。
我們為什麼都如此擔憂？簡而言之：人工智慧的發展速度太快了。
關鍵問題是先進的“聊天機器人”或技術上稱為“大型語言模型”（LLM）的新興技術在對話方面取得了極其迅速的改進。隨著即將到來的“人工智慧爆發”，我們可能只有一次機會來把這件事做對。
如果我們做錯了，我們可能就無法活著講述這個故事了。這絕非誇張。
這種快速的加速發展有望很快導致“通用人工智慧”（AGI）的出現，當這種情況發生時，人工智慧將能夠改進自身，而無需人工干預。它將以與例如谷歌的AlphaZero人工智慧在短短九個小時內學會下棋，甚至比最優秀的人類或其他人工智慧棋手更厲害的方式來做到這一點，而這僅僅是從它第一次啟動開始算起的。它透過與自己對弈數百萬次來實現這一壯舉。
一個微軟研究團隊分析了OpenAI的GPT-4，我認為它是目前可用的最佳新型先進聊天機器人，他們在一篇新的預印本論文中表示，它具有“高階通用智慧的火花”。
在對GPT-4進行測試時，它在統一律師資格考試（一種用於認證律師在許多州執業的標準化考試）中的表現優於90%的人類考生。這個數字高於之前的GPT-3.5版本，後者是在較小的資料集上訓練的，僅為10%。他們在其他數十項標準化測試中也發現了類似的改進。
這些測試大多是推理測試。這就是Bubeck及其團隊得出結論認為GPT-4“可以合理地被視為通用人工智慧（AGI）系統的早期（但仍不完整）版本”的主要原因。
這種變化速度就是辛頓告訴《紐約時報》的原因：“看看五年前它是怎樣的，現在又是怎樣的。取其差異並向前推演。這很可怕。”在五月中旬舉行的關於人工智慧潛力的參議院聽證會上，OpenAI的負責人山姆·奧特曼稱監管“至關重要”。
一旦人工智慧能夠自我改進，這可能在幾年內就會實現，甚至可能現在已經實現，我們就無法知道人工智慧會做什麼，或者我們如何控制它。這是因為超級智慧人工智慧（根據定義，它可以在廣泛的活動中超越人類）將能夠——這也是我最擔心的——透過操縱人類來達到其意志，從而將程式設計師和任何其他人玩弄於股掌之間；它還將有能力透過其電子連線在虛擬世界中行動，並透過機器人身體在物理世界中行動。
這就是所謂的“控制問題”或“對齊問題”（參見哲學家尼克·博斯特羅姆的著作《超級智慧》以獲得良好的概述），哲學家和科學家，如博斯特羅姆、塞思·鮑姆和埃利澤·尤德科夫斯基，已經對此研究和爭論了幾十年。
我是這樣想的：我們為什麼要期望一個新生嬰兒在國際象棋比賽中擊敗特級大師？我們不會這樣期望。同樣，我們為什麼要期望能夠控制超級智慧人工智慧系統？（不，我們無法簡單地按下關閉按鈕，因為超級智慧人工智慧會考慮到我們可能採取的每一種方式來做到這一點，並採取行動來防止被關閉。）
這是另一種看待問題的方式：超級智慧人工智慧大約在一秒鐘內就能完成一個由100名人類軟體工程師組成的團隊需要一年或更長時間才能完成的工作。或者選擇任何任務，比如設計一種新型的先進飛機或武器系統，超級智慧人工智慧可以在大約一秒鐘內完成這項任務。
一旦人工智慧系統被內建到機器人中，它們將能夠在現實世界中行動，而不僅僅是在虛擬（電子）世界中，並且具有相同的超級智慧程度，當然，它們將能夠以超人的速度複製和改進自身。
我們試圖構建到這些正在走向神壇的人工智慧“神”中的任何防禦或保護措施，一旦人工智慧達到超級智慧狀態，都將被人工智慧輕鬆地預料到和化解。這就是超級智慧的含義。
我們將無法控制它們，因為我們想到的任何事情，它們都已經想到過了，而且速度比我們快一百萬倍。我們構建的任何內建防禦措施都將被撤銷，就像格列佛掙脫了小人國人用來束縛他的細小繩索一樣。
有些人認為，這些大型語言模型只是沒有意識的自動化機器，這意味著如果它們沒有意識，它們就更不可能擺脫其程式控制。即使這些語言模型現在或將來根本沒有意識，這也沒關係。為了記錄，我同意它們目前不太可能具有任何實際的意識——儘管我對新出現的事實持開放態度。
無論如何，核彈可以在沒有任何意識的情況下殺死數百萬人。同樣，人工智慧也可能在零意識的情況下殺死數百萬人，方式有很多種，包括可能直接使用核彈（可能性較小）或透過操縱人類中介（可能性較大）。
因此，關於意識和人工智慧的辯論實際上在關於人工智慧安全的辯論中並不佔很大比重。
是的，基於GPT-4的語言模型和許多其他模型已經廣泛傳播。但呼籲暫停是為了停止開發任何比4.0更強大的新型號——這可以強制執行，必要時可以用武力。訓練這些更強大的模型需要大量的伺服器群和能源。它們可以被關閉。
我的道德準則告訴我，當我們已經知道我們無法控制這些系統時，即使在相對較近的將來，建立這些系統也是非常不明智的。明智是知道何時從懸崖邊退後一步。現在就是那個時候。
我們不應該比現在已經開啟的程度更進一步開啟潘多拉的盒子。
這是一篇觀點和分析文章，作者或作者表達的觀點不一定代表《大眾科學》的觀點。