很難擺脫一種揮之不去的疑慮，那就是創造比我們自己更聰明的機器可能會是一個問題。畢竟，如果大猩猩很久以前不小心創造了人類，那麼現在瀕臨滅絕的靈長類動物可能會希望他們沒有這樣做。但是，具體來說，先進的人工智慧為什麼會成為一個問題呢？
好萊塢關於自發邪惡的機器意識將驅動殺手機器人軍隊的理論簡直是愚蠢的。真正的問題在於人工智慧可能非常擅長實現一些與我們真正想要的不同的目標。1960年，控制論領域的創始人、傳奇數學家諾伯特·維納這樣說：“如果我們使用一種我們無法有效干預其運作的機械機構來實現我們的目的……，我們最好非常確定輸入機器的目的正是我們真正渴望的目的。”
具有特定目的的機器具有另一個特性，一個我們通常與生物聯絡起來的特性：希望保持自身的存在。對於機器而言，這種特性不是天生的，也不是人類引入的；這是一個簡單的邏輯結果，即如果機器死了，它就無法實現其最初的目的。因此，如果我們派出機器人，唯一的指令是取咖啡，它將有強烈的動機透過停用自己的關閉開關，甚至消滅任何可能干擾其任務的人來確保成功。因此，如果我們不小心，我們可能會面臨一場全球性的國際象棋比賽，對手是非常堅決、超智慧的機器，它們的目標與我們自己的目標相沖突，而真實世界就是棋盤。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您將有助於確保有關塑造我們當今世界的發現和思想的有影響力的故事的未來。
進入並輸掉這樣一場比賽的前景應該讓計算機科學家們集中精力。一些研究人員認為，我們可以將機器密封在一種防火牆內，利用它們來回答難題，但絕不允許它們影響現實世界。（當然，這意味著放棄超智慧機器人！）不幸的是，這個計劃似乎不太可能奏效：我們尚未發明出能夠抵禦普通人，更不用說超智慧機器的防火牆。
我們能否正面解決維納的警告？我們能否設計出目標與我們的目標不衝突的人工智慧系統，以便我們確信對它們的行為方式感到滿意？這絕非易事——畢竟，關於精靈和三個願望的故事通常以第三個願望來撤銷前兩個願望而告終——但我相信，如果我們遵循智慧系統設計的三個核心原則，這是可能的
機器的目的必須是最大限度地實現人類價值觀。特別是，機器沒有自己的目的，也沒有保護自身的內在願望。
機器最初必須不確定這些人類價值觀是什麼。事實證明，這至關重要，並且在某種程度上規避了維納的問題。機器可能會隨著時間的推移更多地瞭解人類價值觀，當然，但它可能永遠無法完全確定。
機器必須能夠透過觀察我們人類所做的選擇來了解人類價值觀.
前兩個原則似乎違反直覺，但它們共同避免了機器人有強烈動機停用自己的關閉開關的問題。機器人確信它想要最大限度地實現人類價值觀，但它也不知道這些價值觀到底是什麼。現在，機器人實際上受益於被關閉，因為它理解人類會按下關閉開關以防止機器人做出違反人類價值觀的事情。因此，機器人有積極的動機來保持關閉開關完好無損——而這種動機直接源於它對人類價值觀的不確定性。
第三個原則借鑑了人工智慧的一個子學科，稱為逆強化學習 (IRL)，它專門關注透過觀察某個實體（無論是人類、犬類還是蟑螂）的行為來學習其價值觀。透過觀察一個典型人類的早晨例行公事，機器人瞭解了咖啡對人類的價值。該領域尚處於起步階段，但已經存在一些實用的演算法，證明了其在設計智慧機器方面的潛力。
隨著 IRL 的發展，它必須找到應對以下事實的方法：人類是非理性的、不一致的和意志薄弱的，並且計算能力有限，因此他們的行為並不總是反映他們的價值觀。此外，人類表現出多種價值觀，這意味著機器人必須對人與人之間潛在的衝突和權衡保持敏感。而且，有些人純粹是邪惡的，既不應幫助也不應效仿。
儘管存在這些困難，但我相信機器有可能充分了解人類價值觀，以至於它們不會對我們的物種構成威脅。除了直接觀察人類行為外，機器還將受益於訪問大量關於人們做事（以及其他人做出反應）的書面和拍攝資訊。設計能夠理解這些資訊的演算法比設計超智慧機器容易得多。此外，機器人及其製造者有強烈的經濟動機來理解和承認人類價值觀：如果一個設計不良的家用機器人將貓煮熟作為晚餐，而沒有意識到它的情感價值超過了它的營養價值，那麼家用機器人行業將倒閉。
充分解決安全問題以推動人工智慧發展似乎是可行的，但並非易事。可能有幾十年的時間來為超智慧機器的到來做計劃。但是，這個問題不應像一些人工智慧研究人員所做的那樣被斷然否定。有些人認為，只要人類和機器在團隊中工作，它們就可以共存——然而，除非機器與人類共享目標，否則這是不可行的。另一些人說，我們可以“關閉它們”，好像超智慧機器太笨而想不到這種可能性。還有一些人認為超智慧人工智慧永遠不會發生。1933 年 9 月 11 日，著名物理學家歐內斯特·盧瑟福滿懷信心地表示，“任何期望原子轉變產生能量的人都是在胡說八道。” 1933 年 9 月 12 日，物理學家利奧·西拉德發明了中子誘發核鏈式反應。