本文發表於《大眾科學》的前部落格網路，反映了作者的觀點，不一定反映《大眾科學》的觀點
今天，人類面臨著難以置信的威脅和機遇：氣候變化、核武器、生物技術、奈米技術以及更多。但有些人認為，這些都被一件事超越了：人工智慧（AI）。迄今為止，這種論點主要侷限於科幻小說以及一小部分學者和愛好者。紀錄片製作人詹姆斯·巴拉特來了，他的新書《我們的最終發明》用清晰明瞭的語言闡述了支援（和反對）人工智慧的理由。
披露：我個人認識巴拉特。他寄給我一本免費的預先出版的副本，希望我能寫一篇評論。這本書也引用了我的研究。我是機器智慧研究所的無償研究顧問，這本書對此進行了大量討論。雖然我有一些說好話的動機，但我不會吝嗇我的（適度的）批評。
中心思想非常簡單。智力可能是將人類與其他物種區分開來的關鍵特徵。我們當然不是叢林中最強大的野獸，但由於我們的智慧（和我們靈巧的雙手），我們最終勝出。現在，我們的統治地位正受到我們自己創造的生物的威脅。計算機科學家可能正在構建超越人類智慧的人工智慧（“超級智慧”）。這種人工智慧可能會變得非常強大，以至於它要麼解決我們所有的問題，要麼殺死我們所有人，這取決於它的設計方式。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們今天世界的發現和想法的有影響力的故事的未來。
不幸的是，人類徹底滅絕或某種其他邪惡似乎是超級智慧人工智慧更可能的結果。這就像任何偉大的瓶中精靈故事：一個關於意想不到的後果的故事。讓超級智慧人工智慧讓我們快樂，它可能會將電極塞進我們大腦的快樂中樞。讓它在國際象棋比賽中獲勝，它會將星系轉換為用於計算步法的超級計算機。這種荒謬的邏輯之所以成立，正是因為人工智慧缺乏我們對荒謬的理解。相反，它完全按照我們程式設計的方式去做。小心你許的願！
重要的是要理解研究人員所說的狹義人工智慧（ANI）和通用人工智慧（AGI）之間的區別。ANI 在像下國際象棋或搜尋網路這樣的狹窄任務中是智慧的，並且在我們的世界中越來越普遍。但是 ANI 只能在它擅長的那件事上勝過人類，所以它不是重大的變革性問題。那將是 AGI，它在廣泛的領域中都具有智慧——可能包括設計更智慧的 AGI。人類也具有通用智慧，但 AGI 的思維方式可能與人類大不相同，就像國際象棋計算機處理國際象棋的方式與我們截然不同一樣。目前，還沒有人類水平的 AGI 存在，但 AGI 研究領域非常活躍，擁有自己的學會、期刊和系列會議。
《我們的最終發明》出色地解釋了這些和其他人工智慧技術細節，同時帶領讀者全面瞭解人工智慧世界。這不是一本晦澀難懂的學術著作。巴拉特運用清晰的新聞報道散文和個人風格，這得益於他多年為國家地理、探索頻道和 PBS 製作紀錄片的經驗。這本書記錄了他採訪眾多頂尖人工智慧研究人員和分析師的旅程，穿插著巴拉特自己的深思熟慮的評論。最終的結果是對人工智慧概念和人物的豐富介紹。新手和專家都將從中受益匪淺。
這本書尤其受歡迎，因為它與雷·庫茲韋爾的《奇點臨近》和其他作品形成了對比。庫茲韋爾是人工智慧改變世界潛力的最傑出代言人。雖然庫茲韋爾確實承認人工智慧的風險，但他的總體基調是危險的樂觀，給人一種一切安好，我們應該加快 AGI 和其他變革性技術的步伐的錯誤印象。《我們的最終發明》沒有犯這個錯誤。相反，它明確表達了擔憂的資訊。
現在，謹慎的讀者可能會抗議，AGI 真的是值得認真對待的事情嗎？畢竟，它基本上從未出現在新聞中，而且大多數人工智慧研究人員甚至都不擔心。（AGI 今天只是更廣泛的人工智慧領域的一個小分支。）很容易想象這只是一個邊緣問題，只有少數容易受騙的怪人會認真對待。
我真希望情況是這樣。我們已經有足夠多的其他事情要擔心了。但有理由相信並非如此。首先，僅僅因為某件事現在不突出，並不意味著它永遠不會突出。今天的人工智慧本質上與 1970 年代和 1980 年代的氣候變化處於相同的階段。那時，只有少數研究人員研究它並表達擔憂。但當時的趨勢是顯而易見的，而今天氣候變化已成為國際頭條新聞。
今天的人工智慧有其自身的趨勢。最明顯的是摩爾定律，其中每美元的計算能力大約每兩年翻一番。更強的計算能力意味著人工智慧可以處理更多資訊，從而（在某些方面）變得更智慧。從軟體到神經科學，都存在類似的趨勢。與氣候變化一樣，我們無法準確預測何時會發生什麼，但我們確實知道我們正在走向一個人工智慧日益複雜的世界。
這就是人工智慧確實可以超越氣候變化等問題的地方。儘管氣候變化帶來了種種恐怖，但它的進展緩慢。最壞的影響將在幾個世紀後才會顯現。變革性的人工智慧可能會在短短幾十年內到來，甚至可能十年。它可能會使氣候變化變得無關緊要。
但人工智慧在一個關鍵方面與氣候變化不同：至少就目前而言，它缺乏科學共識。事實上，大多數人工智慧研究人員不認同人工智慧接管的想法。即使是 AGI 研究人員對於將會發生什麼以及何時發生也存在分歧。這是我在 2009 年對 AGI 研究人員進行的一項研究的核心結果。
鑑於這種分歧，我們應該相信誰？巴拉特確信我們正走向麻煩。我不太確定。人工智慧將不可避免地進步，但它最終可能不會像巴拉特和其他人預期的那樣具有根本性的變革性。然而，相反的情況也可能是真的。儘管我思考這個問題多年，但我無法排除發生重大人工智慧事件的可能性。
僅僅是這種可能性就應該讓我們停下來思考。畢竟，風險再高不過了。即使是發生重大人工智慧事件的微小機會也足以引起 серьезное 的關注。對於人工智慧而言，這種機會並不小。我認為這比例如說，重大小行星撞擊的可能性要大得多。如果小行星撞擊得到了 серьезное 的關注（由 NASA、B612 基金會等），那麼人工智慧風險應該得到更多關注。但事實並非如此。我希望《我們的最終發明》將有助於改變這種情況。
這就引出了《我們的最終發明》不幸地非常薄弱的一個領域：解決方案。這本書的大部分內容致力於解釋人工智慧概念並論證人工智慧的重要性。我只計算了大約半章討論任何人實際上可以為此做些什麼。這是一個令人遺憾的遺漏。（《難以忽視的真相》也患有同樣的毛病）。
有兩種基本型別的選擇可以用來防禦人工智慧。首先，我們可以設計安全的人工智慧。這看起來是一個巨大的哲學和技術挑戰，但如果成功，它可以解決世界上許多問題。不幸的是，正如本書指出的那樣，危險的人工智慧更容易實現，因此很可能先出現。儘管如此，人工智慧安全仍然是一個重要的研究領域。
其次，我們可以不設計危險的人工智慧。本書詳細討論了推動人工智慧前進的經濟和軍事壓力。需要利用這些壓力來避免危險的人工智慧。我相信這是可能的。畢竟，人類被毀滅不符合任何人的利益。應該採取措施防止人們製造危險的人工智慧。禁止高頻交易可能是一個不錯的起點，原因有很多。
等待人工智慧失控，然後試圖發動一場針對超級智慧 AGI 的“世界大戰”運動不是一個可行的選擇。這很適合拍電影，但完全不現實。人工智慧會變得太聰明、太強大，以至於我們沒有任何機會對抗它們。（外星人入侵也是如此，儘管人工智慧的可能性要大得多。）相反，我們需要提前做好。這是我們緊迫的任務。
最終，人工智慧的風險是由設計人工智慧的人、資助他們的人以及其他有影響力的人驅動的。《我們的最終發明》最棒的地方在於，透過其豐富的採訪，它使人工智慧行業人性化。這種對人工智慧問題背後人物的洞察力在其他任何地方都找不到。與此同時，這本書清晰而引人入勝地介紹了可能（或可能不會）成為人類決定性問題的事物。對於任何關心幾乎任何事物的人，或者對於那些只是喜歡精彩科學故事的人來說，這本書都值得一讀。