當傑森·馬泰尼在 2009 年加入美國情報高階研究計劃署（IARPA）擔任專案經理時，他養成了與該組織的研究分析師聊天的習慣。“你們需要什麼？”他會問，而答案總是一樣的：一種做出更準確預測的方法。“如果我們為您製作一個人工智慧計算機模型，可以預測現實世界的事件，如政治不穩定、武器試驗和疾病爆發呢？”馬泰尼會問。“您會使用它嗎？”
分析師的反應很熱情，但有一個關鍵的注意事項。“歸根結底，他們是否可以向決策者（如國防部長）解釋該模型，”馬泰尼說，他現在是 IARPA 的主任。如果人工智慧 (AI) 模型告訴國防分析師朝鮮正準備轟炸阿拉斯加怎麼辦？“他們不希望處於認為系統可能出錯，但不確定原因或方式的境地，”他補充道。
今天的 AI 難題就在於此：最強大的技術——即深度神經網路——是出了名的不透明，幾乎沒有提供關於它們如何得出結論的線索。但是，如果消費者要將他們的安全委託給人工智慧驅動的汽車，或將他們的健康委託給人工智慧輔助的醫療保健，他們會想知道這些系統是如何做出關鍵決策的。“[深度神經網路] 可能真的很好，但它們也可能以神秘的方式失敗，”牛津大學人類未來研究所高階研究員 Anders Sandberg 說。“人們開始意識到，你不能完全信任這種軟體。”
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
隨著人工智慧開始改變包括交通運輸、醫療、製造業和國防在內的整個行業，越來越多的研究人員正在採取措施來解決這一擔憂。全面的解決方案仍需數年時間，但一些有希望的計劃正在湧現。一些研究人員像科學家測試實驗鼠一樣測試人工智慧系統，透過調整輸入來觀察它們如何影響行為，以期闡明決策過程。其他人則嘗試用額外的網路來探測網路的行為，或者發明新的程式語言來更好地控制這些系統的學習方式。這些方法可能各不相同，但它們的目標是相同的：確保我們的機器不會進化得太超出我們理解它們的能力。
微調
今天深度神經網路之所以強大而又反覆無常，是因為它們能夠從海量資料中找到模式。這些複雜的計算系統以人腦為藍本，是當前人工智慧繁榮的秘訣。它們是 Apple 的 Siri 和 Amazon 的 Alexa 等數字助理在語音識別方面變得非常出色的原因，也是 Google 翻譯最終變得可以理解的原因。它們還使機器能夠識別影像、預測疾病並在電視問答節目 Jeopardy! 和比國際象棋更復雜的圍棋遊戲中擊敗人類。
神經網路透過將資訊傳遞到相互連線的層級結構中來處理資訊，這有點類似於大腦的生物電路。數字“神經元”（稱為節點）的第一層接收原始輸入（例如貓照片中的畫素），根據簡單的數學規則混合和評分這些輸入，然後將輸出傳遞到下一層節點。“深層”網路包含從三層到數百層不等，最後一層將所有這些神經活動提煉成一個單一的預測：這是一張貓的照片，例如。
如果預測是錯誤的，神經網路將調整節點之間的連結，引導系統更接近正確的結果。Yann LeCun，Facebook 人工智慧研究主管，將這種數字連線網路比作一個帶有數百萬個旋鈕的盒子。透過調整旋鈕以滿足數百萬個示例，神經網路建立一個結構化的關係集（模型），該模型可以對新影像進行分類或在以前從未遇到過的條件下執行操作。
這個過程被稱為深度學習，它使神經網路能夠建立過於複雜或過於繁瑣而無法手動編碼的 AI 模型。這些模型可能非常複雜，最大的模型接近萬億個引數（旋鈕）。“深度學習的酷之處在於你不需要告訴系統要尋找什麼，”紐約市西奈山伊坎醫學院生物醫學資訊學主任 Joel Dudley 說。“只是，‘這是一百萬張貓的照片。你弄清楚貓是什麼樣的。’”
這種靈活性使神經網路能夠勝過其他形式的機器學習（這些機器學習受限於其相對簡單性），有時甚至勝過人類。例如，西奈山的一個名為 Deep Patient 的實驗性神經網路可以預測患者是否會在明年內獲得特定診斷，這比醫生做出診斷的時間早幾個月。Dudley 和他的同事透過向系統輸入 12 年的電子健康記錄（包括來自 70 萬名患者的測試結果和住院就診記錄）來訓練該系統。然後，Deep Patient 自己辨別出疾病的隱藏先兆。“我們表明它可以預測 90 種不同的疾病，從精神分裂症到癌症到糖尿病，準確率非常高——而且從未與專家交談過，”Dudley 說。
數字潛意識
然而，由於神經網路本質上是自我程式設計的，它們通常會學習到人類無法完全理解的神秘規則。“很難找出[神經網路]做出特定決定的原因，”英國西英格蘭大學布里斯托分校的機器人倫理學家 Alan Winfield 說。當谷歌的 AlphaGo 神經網路去年在首爾與圍棋冠軍李世石對弈時，它走了一步棋，讓所有觀看者，甚至李世石都感到困惑。“我們仍然無法解釋它，”Winfield 說。當然，理論上，您可以開啟引擎蓋，檢視 AlphaGo 人工智慧大腦中每個旋鈕（即每個引數）的每個位置，但即使是程式設計師也無法從這些數字中獲得太多資訊，因為它們的“含義”（驅動神經網路做出決定的原因）編碼在節點之間數十億個分散的連線中。
許多專家發現這種不透明性令人擔憂。“這在圍棋比賽中無關緊要，但想象一下無人駕駛汽車的自動駕駛儀，”Winfield 說。“如果發生嚴重事故，簡單地對調查員或法官說‘我們只是不明白汽車為什麼會那樣做’是不可接受的。”不難想象其他有問題的場景：一架自主無人機襲擊了一所學校；一個貸款評估程式不恰當地拒絕了少數族裔的申請；像 Deep Patient 這樣的系統做出了虛假的診斷。“讓一個你沒有完全理解的非常複雜的系統表現正常是一個深刻的問題，”Sandberg 說。
揭開人工智慧的面紗
研究人員正在調查許多可能的解決方案。一種方法（稱為模型歸納或“觀察者方法”）將人工智慧系統視為黑匣子。“您對其進行實驗，並嘗試推斷其行為，”國防高階研究計劃局 (DARPA) 可解釋人工智慧計劃的負責人 David Gunning 說。例如，透過切開一張貓的影像，並將碎片一次一塊地輸入神經網路，程式設計師可以很好地瞭解哪些部分（尾巴、爪子、皮毛圖案或一些意想不到的東西）導致計算機做出正確的分類。
還有外科手術方法，“這讓我們能夠真正深入瞭解人工智慧系統的大腦，”俄勒岡州立大學電氣工程和計算機科學教授 Alan Fern 說，他正在領導 Gunning 計劃資助的 12 個專案之一。訣竅是讓他看到的東西有某種意義。“一個真正的解釋將追蹤網路中每個節點的每一次觸發，”建立一個漫長而複雜的審計跟蹤，這對人類來說是“完全無法解釋的”，Fern 說。為了提取更具意義的（如果不太精確）解釋，Fern 的團隊提議用第二個神經網路探測神經網路。這個“解釋網路”將學習原始模型中的哪些神經活動對於做出特定決策最重要。
希望是建立一個原型神經網路，這將有助於提高無人機或無人駕駛汽車等自主系統的透明度。“我不認為我們永遠可以對任何軟體都抱有完全的信心，”Fern 說，“但我們可以做更多的事情來確保系統出於正確的原因做正確的事情，並且不會在後臺做一些瘋狂的事情。”
這也是 Bonsai 的目標，這是一家初創公司，正在開發一種名為 Inkling 的新程式語言，以幫助企業訓練自己的深度學習系統來解決城市規劃和供應鏈物流等組織問題。“我們的許多客戶對將決策權交給黑匣子有所保留，”聯合創始人兼執行長 Mark Hammond 說。Bonsai 試圖透過改變神經網路的學習方式來開啟盒子。Hammond 指出，我們大多數人不像今天的神經網路那樣，僅僅透過反覆試驗來學習。我們也受到父母、老師、教練和 YouTube 影片的教導。例如，我們學習打棒球不是透過揮舞球棒擊打快速球直到擊中一個球，而是透過教育：我們被教導如何將威浮球從發球座上擊落，然後揮動球棒擊打容易的高拋球，直到我們準備好迎接真正的投球。一直以來，我們都在學習遊戲的語言——這種語言讓我們能夠解釋我們正在做什麼以及為什麼這樣做。
Dudley 也在嘗試用各種方法來解釋 Deep Patient 的預測。他不太關心繫統的黑匣子性質，只要它生成的模型可以在臨床試驗中被證明是安全的。（畢竟，他說，“我們給出的絕大多數藥物都是黑匣子。”）儘管如此，他對 Deep Patient 的理由感到好奇，因為他認為這可能有助於醫生更好地理解和治療疾病。雖然他無法知道 Deep Patient 做出特定診斷的原因，但他可以尋找具有相同診斷的患者叢集並計算他們的相似性。這項練習已經發現了一些令人驚訝的發現，包括糖尿病和阿爾茨海默病之間的聯絡，這些聯絡早於 Deep Patient。例如，糖尿病藥物 二甲雙胍 似乎可以保護某些型別的患者免受阿爾茨海默病的侵害——這種相關性在使用標準統計資料時並不明顯。
展示和講述
然而，一些專家擔心，這種零敲碎打的努力不足以確保公眾對智慧系統的信任。2016 年，歐盟通過了新的資料保護規則——將於明年生效——其中包括演算法決策解釋的合法權利。與此同時，IEEE（電氣和電子工程師協會）的一個工作組正在制定行業標準，這可能有助於定義“解釋”的實際含義。“透明度不是一回事，”領導該工作組的 Winfield 說。“一位老年人需要了解她的護理機器人的內容與安全測試人員需要了解的內容——或事故調查員或律師或普通公眾需要了解的內容是不同的。”
牛津大學的 Sandberg 喜歡開玩笑說，他知道美國成為超級大國的秘訣。“那是因為他們學校有‘展示和講述’，”他說。這個俏皮話可能是半開玩笑，但它的寓意是真誠的：他補充說，“能夠解釋事物會給你一種力量。”