迪恩·波默盧仍然記得他第一次與黑匣子問題作鬥爭。那是 1991 年，他正在進行一項開創性的嘗試，要做現在自動駕駛汽車研究中司空見慣的事情：教計算機如何駕駛。
波默盧說，這意味著要駕駛一輛特殊裝備的悍馬軍用車輛，引導它穿過城市街道。當時，他還是賓夕法尼亞州匹茲堡卡內基梅隆大學的機器人學研究生。和他一起在悍馬車上的是一臺計算機，他已經程式設計讓它透過攝像頭觀察，解釋道路上發生的事情，並記住他所做的每一個反應。波默盧希望，最終，這臺機器能夠建立足夠的聯絡，從而自行駕駛。
每次行程中，波默盧都會訓練系統幾分鐘，然後放手讓它自行駕駛。一切似乎都很順利，直到有一天，悍馬車駛近一座橋樑，突然向一側轉彎。他只是透過快速抓住方向盤並重新控制才避免了碰撞。
支援科學新聞
如果您喜歡這篇文章，請考慮支援我們屢獲殊榮的新聞報道，方法是 訂閱。透過購買訂閱，您將有助於確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
回到實驗室，波默盧試圖瞭解計算機哪裡出了問題。“我論文的一部分是開啟黑匣子，弄清楚它在想什麼，”他解釋道。但如何做到呢？他已經程式設計讓計算機充當“神經網路”——一種模仿大腦的人工智慧（AI），它有望在處理複雜的現實世界情況方面比標準演算法更好。不幸的是，這種網路也像大腦一樣不透明。它們不是將學到的東西儲存在整齊的數字儲存塊中，而是以一種極其難以辨認的方式擴散資訊。只有在廣泛測試他的軟體對各種視覺刺激的反應後，波默盧才發現了問題：該網路一直在使用長滿草的道路作為道路方向的指導，因此橋樑的出現讓它感到困惑。
25 年後，破譯黑匣子變得越來越困難和緊迫。這項技術本身的複雜性和應用都呈爆炸式增長。波默盧現在在卡內基梅隆大學兼職教授機器人學，他將他那輛小型車載系統描述為當今機器上實施的 龐大神經網路 的“窮人版本”。而 深度學習技術（其中網路在大量大資料檔案上進行訓練）正在尋找商業應用，範圍從 自動駕駛汽車 到根據使用者的瀏覽歷史推薦產品的網站。
它有望在科學領域也變得無處不在。未來的射電天文觀測臺將需要深度學習來在它們原本 難以管理的資料量 中找到有價值的訊號；引力波探測器將使用它來理解和消除最微小的噪聲源；出版商將使用它來搜尋和標記數百萬篇研究論文和書籍。一些研究人員認為，最終，配備深度學習的計算機甚至可能會展現出想象力和創造力。“您只需將資料投入這臺機器，它就會返回自然法則，”加州理工學院帕薩迪納分校的物理學家讓-羅奇·弗利芒特說。
但這樣的進步會使黑匣子問題更加嚴重。例如，機器究竟是如何找到那些有價值的訊號的？ 誰又能確定它是正確的？人們應該願意在多大程度上信任深度學習？“我認為我們肯定正在輸給這些演算法，”紐約市哥倫比亞大學的機器人專家霍德·利普森說。他將這種情況比作遇到一個聰明的外星物種，他們的眼睛不僅有紅、綠、藍三種原色受體，而且還有第四種顏色受體。對於人類來說，很難理解外星人如何看待世界，而對於外星人來說，也很難向我們解釋，他說。計算機在向我們解釋事情時也會遇到類似的困難，他說。“在某種程度上，這就像向狗解釋莎士比亞一樣。”
面對這樣的挑戰，人工智慧研究人員的反應就像波默盧一樣——開啟黑匣子，進行類似於神經科學的研究，以瞭解內部的網路。日內瓦附近歐洲粒子物理實驗室 CERN 的物理學家文森佐·因諾琴特說，答案不是洞察力，他開創了人工智慧在該領域的應用。“作為一名科學家，”他說，“我僅僅將貓和狗區分開來是不滿意的。科學家希望能夠說：‘區別在於如此如此’。”
好的旅程
第一批人工神經網路創建於 1950 年代初，幾乎在有能夠執行演算法的計算機後不久。其想法是模擬小的計算單元——“神經元”，它們排列在由大量數字“突觸”連線的層中。底層中的每個單元都會接收外部資料，例如影像中的畫素，然後將該資訊分發到下一層中的部分或全部單元。然後，第二層中的每個單元使用簡單的數學規則整合來自第一層的輸入，並將結果進一步傳遞。最終，頂層產生一個答案——例如，將原始圖片分類為“貓”或“狗”。
這種網路的力量源於它們學習的能力。給定一組帶有正確答案的訓練資料集，它們可以透過調整每個連線的強度來逐步提高其效能，直到它們的頂層輸出也正確為止。這個過程模擬了大腦透過加強或減弱突觸來學習的方式，最終會產生一個可以成功分類不屬於其訓練集的新資料的網路。
這種學習能力在 1990 年代對 CERN 的物理學家來說是一個主要的吸引力，當時他們是最早將大規模神經網路用於科學的科學家之一：該網路將被證明對重建 CERN 大型強子對撞機 中粒子碰撞產生的亞原子碎片軌跡有很大幫助。
但是，這種學習形式也是為什麼資訊在網路中如此擴散的原因：就像在大腦中一樣，記憶被編碼在多個連線的強度中，而不是像傳統資料庫那樣儲存在特定位置。加州大學歐文分校的機器學習研究員皮埃爾·巴爾迪說：“您的電話號碼的第一位數字儲存在大腦中的哪個位置？可能在一堆突觸中，可能離其他數字不遠。”但是，沒有明確定義的位序列來編碼該數字。因此，拉勒米懷俄明大學的計算機科學家傑夫·克倫說，“即使我們構建了這些網路，我們對它們的理解程度也不比對人腦的理解程度高。”
對於必須處理各自學科中大資料科學家而言，這使得深度學習成為一種謹慎使用的工具。英國牛津大學的計算機科學家安德里亞·韋達爾迪說，要了解原因，請想象在不久的將來，使用舊的乳房 X 光片訓練一個深度學習神經網路，這些乳房 X 光片已經根據哪些女性後來患上乳腺癌進行了標記。韋達爾迪說，經過這種訓練，一位顯然健康的女性的組織可能對機器來說已經“看起來”癌變了。“神經網路可能已經隱含地學會了識別我們不瞭解的標誌物——但這些標誌物可以預測癌症，”他說。
韋達爾迪說，但是如果機器不能解釋它是如何知道的，它將給醫生和他們的患者帶來嚴重的困境。一位女性因為有 已知會大大增加癌症風險的基因變異 而選擇預防性乳房切除術已經夠難的了。但是，如果甚至不知道風險因素是什麼，即使做出建議的機器恰好在其預測中非常準確，做出該選擇可能會更加困難。
華盛頓州西雅圖谷歌公司的生物物理學家和程式設計師邁克爾·泰卡說：“問題在於，知識被融入網路，而不是融入我們。”“我們真的理解了什麼嗎？沒有真正——網路理解了。”
幾個小組在 2012 年開始研究這個黑匣子問題。一個由加拿大安大略省多倫多大學的機器學習專家傑弗裡·辛頓領導的團隊參加了一場計算機視覺競賽，並首次表明，深度學習從 120 萬張影像的資料庫中分類照片的能力遠遠超過任何其他人工智慧方法。
為了更深入地瞭解這是如何實現的，韋達爾迪的小組採用了辛頓開發的用於改進神經網路訓練的演算法，並基本上反向執行它們。該團隊不是教網路對影像進行正確的解釋，而是從預訓練的網路開始，並試圖重建產生這些影像的影像。這有助於研究人員確定機器是如何表示各種特徵的——就好像他們在詢問一個假設的癌症檢測神經網路，“您已經確定這個乳房 X 光片的哪個部分是癌症風險的標誌物？”
去年，泰卡和谷歌的同事研究人員也採用了類似的方法，得出了最終的結論。他們的演算法（他們稱之為 Deep Dream）從影像（例如花或海灘）開始，並對其進行修改以增強特定頂層神經元的響應。例如，如果神經元喜歡將影像標記為鳥類，則修改後的圖片將開始在各處顯示鳥類。最終的影像會讓人聯想到迷幻藥之旅，鳥類從面孔、建築物和更多事物中出現。“我認為這更像是一種幻覺”而不是夢境，也是一位藝術家的泰卡說。當他和團隊看到其他人可以將該演算法用於創意目的的潛力時，他們將其提供給任何人下載。幾天之內，Deep Dream 在網上引起了轟動。
克倫的團隊在 2014 年使用可以最大化任何神經元（而不僅僅是頂層神經元）響應的技術發現，黑匣子問題可能比預期的更糟糕：神經網路很容易被對於人們來說看起來像隨機噪聲或抽象幾何圖案的影像所愚弄。例如，一個網路可能會看到波浪線並將它們分類為海星，或者將黑黃條紋誤認為是一輛校車。此外，這些模式在針對不同資料集訓練的網路中產生了相同的響應。
研究人員已經提出了許多方法來解決這個“欺騙”問題，但到目前為止，還沒有出現通用的解決方案。這在現實世界中可能是危險的。克倫說，一個特別可怕的情景是，心懷不軌的駭客可能會學會利用這些弱點。他們可能會讓一輛自動駕駛汽車衝向一塊它認為是道路的廣告牌，或者欺騙視網膜掃描器，讓入侵者進入白宮，以為那個人是巴拉克·奧巴馬。“我們必須捲起袖子，進行艱苦的科學研究，使機器學習更加穩健和智慧，”克倫總結道。
諸如此類的問題導致一些計算機科學家認為，使用神經網路的深度學習不應該是唯一的選擇。英國劍橋大學的機器學習研究員祖賓·加拉馬尼說，如果人工智慧要給出人類容易理解的答案，“對於深度學習來說，有很多問題根本不是答案”。利普森和當時在紐約伊薩卡的康奈爾大學的計算生物學家邁克爾·施密特在2009年首次推出了一種相對透明且具有科學研究能力的方法。他們的演算法被稱為 Eureqa，它證明了它可以透過觀看一個相對簡單的機械物體——一個擺錘系統——的運動來重新發現牛頓物理定律。
從諸如 +、−、正弦和餘弦等數學構建模組的隨機組合開始，Eureqa 遵循受達爾文進化論啟發的試錯方法來修改項，直到它得出最能描述資料的公式。然後，它會提出實驗來測試其模型。利普森說，它的優點之一是簡單。“Eureqa 產生的模型通常有十幾個引數。神經網路有數百萬個。”
自動駕駛
去年，加拉馬尼釋出了一種自動化資料科學家工作的演算法，從檢視原始資料到撰寫論文。他的軟體名為 Automatic Statistician，可以發現數據集中的趨勢和異常情況，並給出結論，包括對其推理的詳細解釋。加拉馬尼說，這種透明度對於科學應用來說是“絕對關鍵的”，但對於許多商業應用也很重要。例如，他說，在許多國家，拒絕貸款的銀行有法律義務說明原因——而深度學習演算法可能無法做到這一點。
奧斯陸大資料公司 Arundo Analytics 的資料科學總監埃莉·多布森指出，類似的擔憂也適用於許多機構。她說，如果設定英國利率時出現問題，“英格蘭銀行不能說‘黑盒子讓我這麼做的’”。
儘管存在這些擔憂，計算機科學家們認為，建立透明人工智慧的努力應被視為對深度學習的補充，而不是替代。他們說，一些透明的技術可能在已經描述為一組抽象事實的問題上效果很好，但在感知方面——從原始資料中提取事實的過程——效果不太好。
最終，這些研究人員認為，機器學習給出的複雜答案必須成為科學工具包的一部分，因為現實世界是複雜的：對於天氣或股市等現象，可能甚至不存在還原論的、綜合性的描述。“有些事情我們無法用語言表達，”巴黎綜合理工學院的應用數學家斯特凡·馬拉特說。“當你問醫生為什麼診斷這個或這個時，他會給你一些理由，”他說。“但是，為什麼需要 20 年才能成為一名好醫生？因為資訊根本不在書中。”
在巴爾迪看來，科學家應該擁抱深度學習，而不必對黑盒子“過於敏感”。畢竟，他們的大腦中都帶著一個黑盒子。“你一直在使用你的大腦；你一直信任你的大腦；而你不知道你的大腦是如何工作的。”
本文經許可轉載，於 2016 年 10 月 5 日首次發表。