以下文章經許可轉載自 The Conversation，這是一個報道最新研究的線上出版物。
我們周圍存在著異類思維。不是科幻小說中的小綠人，而是驅動智慧手機面部識別、決定你的信用度 以及創作 詩歌 和 計算機程式碼 的異類思維。這些異類思維是人工智慧系統，是你每天都會遇到的機器中的幽靈。
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續產出關於塑造我們當今世界的發現和想法的具有影響力的報道。
但是人工智慧系統有一個重大限制：它們的許多內部運作都是 難以理解的，這使得它們從根本上無法解釋 且不可預測。此外，構建以人們期望的方式執行的人工智慧系統是一項重大挑戰。
如果你從根本上不理解像人工智慧這樣不可預測的東西，你如何信任它？
為什麼人工智慧是不可預測的
信任 基於可預測性。它取決於你預測他人行為的能力。如果你信任某人，而他們的行為不如你所期望的那樣，那麼你對他們的信任感就會降低。
許多人工智慧系統都建立在 深度學習 神經網路 之上，這在某些方面模仿了人腦。這些網路包含相互連線的“神經元”，這些神經元具有影響神經元之間連線強度的變數或“引數”。當一個幼稚的網路被呈現訓練資料時，它會透過調整這些引數 “學習”如何對資料進行分類。透過這種方式，人工智慧系統學會了對以前從未見過的資料進行分類。它不會記住每個資料點是什麼，而是預測資料點可能是什麼。
許多最強大的人工智慧系統包含 數萬億個引數。正因如此，人工智慧系統做出決策的原因往往是不透明的。這就是 人工智慧可解釋性問題 —— 人工智慧決策制定過程中難以理解的 黑匣子。
考慮一下 “電車難題” 的一個變體。想象一下，你是一輛自動駕駛汽車的乘客，該汽車由人工智慧控制。一個小孩子跑到路上，人工智慧現在必須做出決定：撞死孩子還是轉向並撞車，可能導致乘客受傷。對於人類來說，做出這個選擇將是困難的，但人類的好處是能夠解釋他們的決定。他們的合理化——受道德規範、他人看法和預期行為的影響——支援信任。
相比之下，人工智慧無法合理化其決策制定。你無法檢視自動駕駛汽車引擎蓋下的數萬億個引數來解釋它為什麼做出這樣的決定。人工智慧未能滿足信任的可預測性要求。
人工智慧行為和人類期望
信任不僅依賴於可預測性，還依賴於 規範或倫理 動機。你通常期望人們不僅按照你假設的那樣行事，而且也應該按照他們應該做的那樣行事。人類價值觀受共同經驗的影響，道德推理是一個 動態過程，受道德標準和他人看法的影響。
與人類不同，人工智慧不會根據他人如何看待它或是否遵守道德規範來調整其行為。人工智慧對世界的內在表示在很大程度上是靜態的，由其訓練資料設定。它的決策過程基於一個不變的世界模型，不受不斷影響人類行為的動態、細緻的社會互動的干擾。研究人員正在努力對人工智慧進行程式設計以使其包含倫理道德，但這 被證明具有挑戰性。
自動駕駛汽車場景說明了這個問題。你如何確保汽車的人工智慧做出的決定符合人類的期望？例如，汽車可能會決定撞到孩子是最佳行動方案，但大多數人類駕駛員會本能地避免這種情況。這個問題就是 人工智慧對齊問題，它是構成信任障礙的另一個不確定性來源。
關鍵系統和信任人工智慧
減少不確定性並增強信任的一種方法是確保人們參與人工智慧系統做出的決策。這是 美國國防部採取的方法，該部門要求，對於所有人工智慧決策制定，都必須有人在環路中或 在環路之上。“在環路中”意味著人工智慧系統提出建議，但需要人工來啟動操作。“在環路之上”意味著雖然人工智慧系統可以自行啟動操作，但人工監控器可以中斷或更改它。
雖然讓人類參與進來是邁出的重要第一步，但我並不相信這在長期來看是可持續的。隨著公司和政府繼續採用人工智慧，未來可能會包括巢狀的人工智慧系統，快速的決策制定限制了人們干預的機會。在人類干預變得不可能的關鍵點到來之前，解決可解釋性和對齊問題非常重要。到那時，除了信任人工智慧之外別無選擇。
避免達到那個臨界點尤為重要，因為人工智慧正越來越多地被整合到 關鍵系統 中，其中包括電網、網際網路和 軍事系統 等。在關鍵系統中，信任至關重要，不良行為可能會造成致命後果。隨著人工智慧整合變得更加複雜，解決限制可信度的問題變得更加重要。
人們能永遠信任人工智慧嗎？
人工智慧是異類的——一種人類對其知之甚少的智慧系統。人類在很大程度上對其他人類是可預測的，因為我們擁有相同的人類經驗，但這並不適用於人工智慧，即使人工智慧是人類創造的。
如果可信度本身就具有可預測性和規範性要素，那麼人工智慧從根本上缺乏使其值得信任的品質。希望該領域的更多研究能夠闡明這個問題，確保未來的人工智慧系統值得我們信任。
本文最初發表於 The Conversation。閱讀 原文。