著名科幻作家弗雷德里克·布朗（Fredric Brown，1906–1972）熱衷於創作極短篇小說。發表於 1954 年的《答案》（Answer）用一頁雙倍行距的打字稿，精闢地概括了對未來人機關係的先見之明的思考。
這個故事的不祥預感呼應了當前科學家、政策制定者和倫理學家對機器智慧快速發展的擔憂。
《答案》的開篇是在十幾臺攝像機的注視下，記錄著將宇宙中所有“巨型”計算機連線起來的最後連線的儀式性焊接。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
機器即將把 960 億個行星連線到一個“超級電路”中，這個電路結合了“所有星系的知識”。
現場的兩位見證人僅被確認為 Dwar Ev 和 Dwar Reyn。在撥動連線銀河電路的開關後，Dwar Ev 向他的同伴建議，他可以向機器提出第一個問題
“謝謝你，”Dwar Reyn 說。“這將是一個沒有一臺控制論機器能夠回答的問題。”
他轉過身面對機器。“有上帝嗎？”
強大的聲音毫不猶豫地回答了，沒有一絲繼電器的咔噠聲.
“是的，現在有上帝了。”
恐懼突然閃過 Dwar Ev 的臉龐。他猛撲過去抓住開關.
一道閃電從晴朗的天空劈下來，擊倒了他，並熔化了開關.
我們正處於機器智慧革命之中，這是一門藝術和工程實踐，它使計算機能夠執行直到最近只能由人來完成的任務。現在有軟體可以識別邊境口岸的面孔，並將它們與護照進行匹配，或者標記釋出到社交媒體上的照片中的人和物體。演算法可以自學玩 Atari 影片遊戲。嵌入在頂級轎車中的攝像頭和晶片可以讓車輛在開放道路上自動駕駛。
這些智慧體與早期成功案例（例如，1997 年擊敗世界衛冕國際象棋冠軍的 IBM 深藍，以及 2011 年在智力競賽節目《Jeopardy》中取得同樣成就的 IBM 沃森）的區別在於，它們是透過反覆試驗來學習的。新一波人工智慧（AI）是基於從動物和人類學習方式以及對底層大腦回路的分析中獲得的見解，這些迴路使理論家能夠開發監督學習演算法：軟體會顯示影像，並且根據它是否正確識別面孔或增加影片遊戲得分，程式內部的引數（所謂的突觸權重）會進行細微調整。這種機器學習，如果經過數萬億次機器週期（是的，它非常計算密集型），可以導致系統達到甚至在某些情況下超過人類績效指標。當然，該演算法永遠不會分心或疲倦，並且日夜保持專注（請參閱我七月/八月的專欄“沒有情感的智慧”）。
在十年之內，這些能夠複製特定人類任務的“弱”或“狹義”人工智慧的例子將滲透到社會中。Siri 只是一個開始。無人駕駛汽車和卡車將成為常態，我們在超市、醫院、工業、辦公室和金融市場中的互動將由狹義人工智慧主導。這些進步的迅猛步伐將給社會帶來巨大的壓力，以和平地處理失業（僅美國卡車運輸業就僱用了數百萬名司機）和日益加劇的不平等所帶來的相關問題。
被這種眼花繚亂的進步所掩蓋的是，我們離“強”或“通用”人工智慧還有多遠，這種人工智慧可以與普通人或街上行人的智力相媲美，他們可以駕駛汽車、在山坡上滑雪、就幾乎任何話題進行對話——通常使用兩種或多種語言。同一個普通人也可能會玩各種遊戲、擔任陪審員併為幾十年後的退休做計劃。阻礙我們設計通用人工智慧能力的是一個令人尷尬的事實，即我們不理解“智慧”的含義。這種知識的缺乏使得對我們何時實現強人工智慧的任何預測都充滿了不確定性。儘管如此，它可能離我們並不遙遠。據記錄，大多數專家認為，假設當前趨勢繼續下去，強機器智慧將在本世紀結束前到來。
《超人工智慧：路徑、危險、策略》（Superintelligence: Paths, Dangers, Strategies）一書探討了這一事件的後果。該書作者尼克·博斯特羅姆（Nick Bostrom）是牛津大學的哲學教授，擁有理論物理學和神經科學的背景。他的學術工作重點是理解和減輕威脅人類物種生存的新興風險：全面核戰爭、大規模氣候變化、合成生物學、奈米技術或失控的機器智慧。《超人工智慧》探討了最後一個問題。我熱烈推薦該書的開篇和結尾章節，因為它們有引人入勝的論點、高聳的比喻和富有洞察力的寓言。讀完之後，即使不至於嚇壞，你也會感到不安。
人類智力在任何具有代表性的人群中的分佈都是鐘形的，一端是弱智者，另一端是天才。但是，沒有任何自然法則規定，作為一個群體，人類的智力應該達到理想世界中可能達到的水平。事實上，智人受到迷信和短期思維的困擾（只需看看政客們，他們中的許多人來自我們的精英階層，我們把長遠未來委託給他們）。顯而易見的是，人類冷靜推理的能力——其計劃和建設能力不受情緒干擾（簡而言之，我們的智力）——可以提高。事實上，完全有可能在過去一個世紀中，平均智力有所提高，這得益於在童年早期大腦成熟時，人們更容易獲得良好的營養和刺激性的環境。
生物學變體是正確的，那麼其人工對應物也應該是正確的。沒有任何明顯的原則可以阻止人工智慧的出現，這種人工智慧比普通人甚至任何在世的人都更聰明。事實上，鑑於有能力設計人工智慧系統的各種組織（主要是國家政府和私營公司）之間的競爭，它們的工程師將設計出越來越智慧的機器，這些機器將勝過人類或半機械人對手，並最大化自身的利益。這可能涉及到機器透過反覆試驗和重新程式設計自身程式碼來自我改進的能力。當機器開始提高自身智慧時可能會發生什麼，數學家歐文·約翰·古德（Irving John Good）在 1965 年一段令人難忘的段落中首次指出
讓我們將超智慧機器定義為可以遠遠超越任何聰明人的所有智力活動的機器。由於機器的設計是這些智力活動之一，因此超智慧機器可以設計出更好的機器；那時無疑會出現“智慧爆炸”，人類的智慧將被遠遠拋在後面……因此，第一臺超智慧機器是人類需要製造的最後一項發明，前提是該機器足夠溫順，可以告訴我們如何控制它。
博斯特羅姆考慮了不同形式的超智慧：定性的超智慧——例如，阿爾伯特·愛因斯坦與智力有缺陷的人相比；集體的超智慧，一個由愛因斯坦級別的天才組成的團隊；或者定量的超智慧，例如，在第一次思考時空的基本性質後一小時內發明廣義相對論理論，而不是愛因斯坦花費十年時間發展該理論的智慧。對於博斯特羅姆對生存風險的評估而言，只要人工智慧能夠勝過人類的思維，就無關緊要。而且，機器時代的到來可能沒有任何警告，就像 1947 年 X-1 飛機突破音障時在加利福尼亞州上空首次聽到的音爆一樣，預示著超智慧人工智慧的誕生。
博斯特羅姆的書沒有解釋如何完成這項艱鉅的任務；他的書不是關於如何程式設計一臺強大的 AI 機器來擁有靈活的目標、理解語音和進行長期規劃的指南。相反，他的論文僅援引物理學和數理邏輯的鐵律，主要內容是對超智慧可能採取的許多進化軌跡的擴充套件思考：會有許多人工智慧，還是會在行星尺度上出現一個單一的惡意人工智慧？一個全能的機器智慧會試圖做什麼——對我們，對地球？我們將如何控制它？我們甚至能夠控制它嗎？
博斯特羅姆試圖詳細闡述新興人工智慧的影響，以及如何建立安全措施來防範科幻電影和布朗的《答案》等故事中常見的威脅性結果。這種機器構成的潛在危險並不取決於它有多聰明，而是取決於它的最終目標是什麼。事實上，人工智慧甚至不必超級聰明才能對人類構成嚴重威脅——一個旨在最大化“投資回報率”的狹義人工智慧，在其計算中不惜一切代價，可能會引發戰爭或其他災難，從而透過對受影響行業的股票進行對沖來獲得數百億美元的收入。或者，連線到我們的核彈頭導彈網路的狹義軍事人工智慧可能會發動毀滅性的先發制人的第一次打擊，其原則是等待更長時間將最大限度地增加其本國公民在核地獄中喪生的數量。
博斯特羅姆擔心的是，當技術開始朝著獲得強大人工智慧的能力發展時，可能會發生什麼不可預測的事情，這種人工智慧將其目標推向了其原始程式設計師從未預料到的極端。一個善良的超智慧體，除了快樂的人之外什麼都不想要，可能會將電極植入大腦的快樂中樞，以傳遞純粹的、高潮般的快感。我們真的想最終變成線頭人嗎？那麼，那個天真的最大化回形針的人工智慧呢？它把整個星球及其表面的一切都變成了巨大的回形針製造工廠？哎呀。
鑑於人類自身對其最終目標的不確定性——儘可能快樂？履行某些聖書的指示，以便我們最終進入天堂？坐在山頂上，透過鼻孔哼著“唵”，同時保持正念？殖民銀河系？——我們希望在這裡非常謹慎地行動。
當考慮如何控制這些實體時，事情變得更加困難。約束它們行為的最著名的規則並非來自機器人專家或哲學家，而是來自科幻作家和生物化學家艾薩克·阿西莫夫。他的機器人三定律中的第一定律（70 多年前構思的！）規定：“機器人不得傷害人類，或因不作為而使人類受到傷害。”
儘管這看起來是合理的，但對於處理生活的混亂局面來說，這完全是不夠的。武裝部隊必須準備好迅速有效地使大量敵方士兵喪失能力，以防止更大的邪惡發生。那麼，超智慧是否應該阻止所有武裝衝突？人工智慧是否應該關閉汙染性產業，以應對全球變暖，但代價是全球性經濟衰退十年？第一定律是否適用於未出生的胎兒和昏迷患者？
博斯特羅姆最關心的是他所謂的“控制問題”，即如何設計超智慧機器，以實現對人類安全和有益的結果的挑戰。這個目標不能僅僅透過選擇一套倫理規則並將這些規則實施到具體指令中來實現。傳統上，政治系統和法院的工作是執行這些成文法和管理社會的不成文法。這些目標經常相互衝突：強大的“不可殺人”的誡命在戰場上、死刑犯牢房中、終止妊娠和屠宰場中經常被違反。
當然，正如博斯特羅姆尖刻地評論道，人類幾乎不能聲稱自己沐浴在完美道德啟蒙的正午陽光下。人們似乎無法就最佳生活規則達成一致。一個上升的人工智慧應該遵循美國憲法、中國共產黨的規則還是伊朗毛拉的命令？
對於智力可能如何表現的全方位可能性來說，僅僅透過物理學無法排除的可能性來約束它，是太廣泛了，沒有任何有意義的方式。許多選擇極不可能。例如，博斯特羅姆離題談到人工智慧系統認為自己存在於一個完全模擬的宇宙中的可能性。或者他假設任何名副其實的超智慧都可以消除小行星撞擊或自然流行病的風險，並且也會將自身傳播到整個宇宙。將所有這些視為理所當然似乎是荒謬的。
但他的基本理論應該認真對待。為了限制可能發生的事情並確保人類保留一定程度的控制權，我們需要更好地理解唯一已知形式的智慧。也就是說，我們需要透過研究人類及其大腦來發展一門智慧科學，以試圖推斷機器智慧的最終能力和目標可能是什麼。是什麼使一個人聰明，能夠應對不斷變化複雜的世界？智力在嬰兒期、兒童期和青春期是如何發展的？智力是如何進化的？
智力在多大程度上取決於融入社會群體？智力與情感之間以及智力與動機之間有什麼關係？那麼意識呢？如果人工智慧感覺到某些東西，任何東西，並且如果它也能體驗到宇宙的景象和聲音，那麼它對人工智慧的行動會有影響嗎？
在一個主要由科幻小說和電影定義的領域中，這些小說和電影充當探索可能性的實驗室，博斯特羅姆的《超人工智慧》是一位哲學家的卡桑德拉式的行動呼籲（裝飾著 40 多頁的尾註）。如果我們最終不解決這本書提出的問題，那將是我們的悲哀。只有當我們對生物智慧的內在約束和架構有一個原則性的科學解釋時，才有可能有效地做到這一點。只有到那時，我們才能更好地建立有效的控制結構，以最大限度地利用如果我們開發出智慧夥伴來幫助解決人類面臨的無數問題時可能帶來的巨大好處。