以下文章經許可轉載自The Conversation，這是一個報道最新研究的線上出版物。
作為一名人工智慧研究者，我經常遇到這樣的觀點：許多人們害怕人工智慧可能帶來的東西。考慮到歷史和娛樂業，我們可能會害怕被控制論接管，迫使我們像《駭客帝國》一樣被鎖起來，作為某種人類電池生活。
支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續講述關於塑造我們今天世界的發現和思想的具有影響力的故事。
然而，我很難從我用來開發人工智慧的進化計算機模型中抬起頭來，去思考我螢幕上那些天真的虛擬生物可能會變成未來的怪物。我可能會變成“世界的毀滅者”嗎？就像奧本海默在領導建造第一顆原子彈後感嘆的那樣？
我想我會接受名聲，但也許批評家是對的。也許我不應該回避這個問題：作為一名人工智慧專家，我對人工智慧有什麼擔憂？
對不可預見的恐懼
HAL 9000 計算機，由科幻小說作家亞瑟·C·克拉克構思，並由電影導演斯坦利·庫布里克在《2001：太空漫遊》中搬上銀幕，就是一個因意外後果而失敗的系統的絕佳例子。在許多複雜系統中——泰坦尼克號、美國宇航局的太空梭、切爾諾貝利核電站——工程師們將許多不同的元件層層疊加在一起。設計師們可能很清楚每個元素是如何單獨工作的，但對它們如何協同工作了解得不夠。
這導致了永遠無法完全理解的系統，並且可能以不可預測的方式失敗。在每次災難中——沉沒一艘船、炸燬兩架太空梭以及在歐洲和亞洲傳播放射性汙染——一系列相對較小的故障結合在一起，造成了一場災難。
我可以看到我們在人工智慧研究中可能會陷入同樣的陷阱。我們研究認知科學的最新研究成果，將其轉化為演算法，並新增到現有系統中。我們在不首先理解智慧或認知的情況下嘗試設計人工智慧。
像 IBM 的沃森和谷歌的 Alpha 這樣的系統為人工神經網路配備了強大的計算能力，並取得了令人印象深刻的成就。但是，如果這些機器犯了錯誤，它們會在《危險邊緣！》中輸掉比賽，或者無法擊敗圍棋大師。這些都不是改變世界的後果；事實上，普通人可能因此遭受的最壞結果是輸掉一些押注其成功的錢。
但是，隨著人工智慧設計變得更加複雜，計算機處理器變得更快，它們的技能也會提高。這將導致我們賦予它們更多的責任，即使意外後果的風險也在上升。我們知道“人非聖賢，孰能無過”，因此我們可能無法建立一個真正安全的系統。
對誤用的恐懼
對於我正在開發的人工智慧型別，我不太擔心意外後果，我使用了一種稱為神經進化的方法。我建立虛擬環境，並進化數字生物及其大腦來解決日益複雜的任務。評估生物的表現；表現最好的生物被選中繁殖，產生下一代。經過許多代，這些機器生物進化出認知能力。
目前，我們正在邁出嬰兒般的步伐，進化出能夠執行簡單導航任務、做出簡單決策或記住幾個位元的機器。但很快，我們將進化出能夠執行更復雜任務並具有更好通用智慧的機器。最終，我們希望創造出人類水平的智慧。
在這個過程中，我們將透過進化過程發現並消除錯誤和問題。每一代機器都在更好地處理前幾代機器中發生的錯誤。這增加了我們在模擬中發現意外後果的可能性，這些意外後果可以在它們進入現實世界之前被消除。
另一種更遙遠的可能是使用進化來影響人工智慧系統的倫理。人類的倫理和道德，例如值得信賴和利他主義，很可能是我們進化的結果——並且是其延續的因素。我們可以設定我們的虛擬環境，讓表現出善良、誠實和同理心的機器獲得進化優勢。這可能是一種確保我們開發出更聽話的僕人或值得信賴的同伴，而不是無情的殺人機器人的方法。
雖然神經進化可能會降低意外後果的可能性，但它並不能阻止誤用。但這是一個道德問題，而不是科學問題。作為一名科學家，我必須遵循我對真理的義務，報告我在實驗中發現的東西，無論我是否喜歡這些結果。我的重點不是確定我是否喜歡或贊成某件事；重要的是我能夠揭示它。
對錯誤的社會優先事項的恐懼
身為科學家並不能免除我的人性。在某種程度上，我必須重新聯絡我的希望和恐懼。作為一個有道德和政治的人，我必須考慮我的工作的潛在影響及其對社會的潛在影響。
作為研究人員，也作為整個社會，我們還沒有對我們希望人工智慧做什麼或變成什麼樣子提出明確的想法。當然，部分原因是我們還不知道它有什麼能力。但我們確實需要決定先進人工智慧的期望結果是什麼。
人們關注的一個重要領域是就業。機器人已經在做體力勞動，例如焊接汽車零件。在不久的將來，它們也可能做我們曾經認為只有人類才能完成的認知任務。自動駕駛汽車可能會取代出租車司機；自動駕駛飛機可能會取代飛行員。
患者可以不用在可能過度疲勞的醫生值班的急診室獲得醫療救助，而是可以從專家系統中獲得檢查和診斷，該專家系統可以即時訪問所有已收集的醫學知識，並獲得不知疲倦的機器人用完美穩定的“手”進行手術。法律建議可以來自一個全知全能的法律資料庫；投資建議可以來自一個市場預測系統。
也許有一天，所有人類的工作都將由機器完成。即使是我自己的工作也可以由大量不知疲倦地研究如何製造更智慧機器的機器更快地完成。
在我們當前的社會中，自動化將人們擠出就業崗位，使機器所有者變得更富有，而其他人則變得更貧窮。這不是一個科學問題；這是一個政治和社會經濟問題，我們作為一個社會必須解決。我的研究不會改變這一點，儘管我的政治自我——與人類的其餘部分一起——可能能夠創造條件，使人工智慧變得廣泛有益，而不是增加百分之一的人與我們其餘人之間的差距。
對噩夢情景的恐懼
還有最後一種恐懼，它體現在 HAL 9000、終結者和任何其他虛構的超級智慧中：如果人工智慧不斷改進，直到超越人類智慧，超級智慧系統（或多個系統）是否會發現不再需要人類？面對超級智慧能夠做人類永遠無法做到的事情，我們將如何證明我們存在的合理性？我們能否避免被我們幫助創造的機器從地球表面抹去？
這種情況下的關鍵問題是：超級智慧為什麼要保留我們？
我會爭辯說，我是一個好人，甚至可能幫助促成了超級智慧本身的誕生。我會呼籲超級智慧具有同情心和同理心，以讓我這個富有同情心和同理心的人活下去。我還會爭辯說，多樣性本身就具有價值，而且宇宙如此巨大，人類在宇宙中的存在可能根本無關緊要。
但我不代表全人類發言，我發現很難為我們所有人提出令人信服的論據。當我認真審視我們所有人時，有很多錯誤：我們互相憎恨。我們互相發動戰爭。我們沒有平等地分配食物、知識或醫療援助。我們汙染地球。世界上有很多美好的事物，但所有的壞事都削弱了我們被允許存在的論據。
幸運的是，我們還不需要為我們的存在辯護。我們還有一些時間——大約 50 年到 250 年之間，具體取決於人工智慧的發展速度。作為一個物種，我們可以團結起來，為為什麼超級智慧不應該僅僅消滅我們提出一個好的答案。但這將是困難的：說我們擁抱多樣性並實際做到是兩回事——就像說我們想要拯救地球併成功做到一樣。
我們所有人，無論是個體還是作為一個社會，都需要為那個噩夢情景做好準備，利用我們剩下的時間來證明為什麼我們的創造物應該讓我們繼續存在。或者我們可以決定相信它永遠不會發生，並完全停止擔心。但是，無論超級智慧可能帶來的物理威脅如何，它們也構成了政治和經濟危險。如果我們找不到一種更好地分配我們財富的方法，我們將用人工智慧勞動力助長資本主義，而這些勞動力只為極少數擁有所有生產資料的人服務。
本文最初發表於The Conversation。閱讀原文。