如何破解智慧機器

本週，微軟和阿里巴巴引發了新的擔憂，即機器人很快將取代我們的工作。這兩家公司分別透露，他們的人工智慧系統在閱讀理解測試中擊敗了人類。這項測試，被稱為斯坦福問答資料集 (SQuAD)，旨在訓練人工智慧回答關於一組維基百科文章的問題。

與已部署在商業照片應用程式中的影像識別軟體一樣，這些系統給人一種印象，即機器已經越來越能夠複製人類的認知：識別影像或聲音，以及現在快速閱讀文字段落並以人類水平的準確性吐出答案。

然而，機器的智慧並不總是像看起來那樣。開發深度學習網路和其他人工智慧系統的技術專家們正在深入研究，看看機器是否真的知道任何東西，從而發現他們的創造是多麼脆弱。對軟體進行壓力測試——例如，在將其載入到自動駕駛汽車之前——對於避免可能導致災難性事故的錯誤至關重要。“在某些領域，神經網路實際上是超人般的，比如它們正在超越人類的表現，”麻省理工學院研究生、人工智慧研究員阿尼什·阿塔萊說，“但它們有一個奇怪的特性，似乎我們可以很容易地欺騙它們。”

支援科學新聞

如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續報道關於塑造我們當今世界的發現和想法的重要故事。

阿塔萊和麻省理工學院其他學生的兩篇預印本文章，統稱為LabSix，證明他們可以使一個深度學習系統——一個經過數千個例子訓練以識別物體的系統——認為滑雪者的照片是狗 (pdf)，而烏龜是步槍 (pdf)。谷歌大腦團隊（該公司的人工智慧研究部門）12月發表的一篇論文使用了一種不同的方法來欺騙系統，使其將香蕉歸類為烤麵包機。

在LabSix的方法中，一個演算法稍微修改影像中每個畫素的顏色或亮度。儘管對於你或我來說，這張照片看起來是一樣的，但這些細微的變化會導致系統將其解釋為完全不同的東西。阿塔萊說，偽裝影像修改“使其更貼近現實世界的攻擊”。“如果你看到有人在現實世界中豎起一個看起來很迷幻的路標，人們可能會想，‘哦，這裡有些蹊蹺’，並且會進行調查。但是，如果你看到一個在你看來像限速標誌的東西，但你的自動駕駛汽車認為它是完全不同的東西，那將是一個可怕得多的場景。”

對於烤麵包機，谷歌大腦採取了不同的策略。他們沒有單獨更改影像，而是希望開發一種可以放置在任何場景中的技術箔片。這意味著建立一個新的獨特影像——對抗性補丁——來迷惑深度學習系統，並使其無法專注於其他專案。烤麵包機補丁不需要融入其中，而是需要突出出來。“鑑於補丁只能控制其所在小圓圈內的畫素，事實證明，補丁欺騙分類器的最佳方式是變得非常突出，”谷歌員工湯姆·布朗在一封電子郵件中寫道。“傳統的對抗性攻擊是透過少量更改單個影像中的所有畫素。對於對抗性補丁，我們透過大量更改少量畫素。”

為了在實驗室外工作，該補丁還必須能夠抵抗現實世界中的視覺噪聲。在早期的研究中，僅僅改變被篡改影像的方向或亮度就可能擊敗對抗性技術。一張正面觀看的被篡改的貓的照片被歸類為鱷梨醬，但將貓側過來，系統又知道它在看一隻貓了。相比之下，烤麵包機補丁可以以任何光照或方向呈現，並且仍然可以破壞系統。“這更難開發，因為它意味著在各種模擬場景中訓練補丁，以便我們可以找到一個在所有場景中都成功的單個補丁，”布朗寫道。

儘管這些例子很愚蠢，但潛在的現實世界影響卻非常嚴重。阿塔萊推測，對抗性攻擊可能會欺騙自動駕駛汽車，使其忽略停車標誌。或者，它可能會在機場行李安檢期間偽裝炸彈的X光影像。阿塔萊和布朗的研究目標是幫助在技術部署之前識別其弱點。

紐約大學心理學教授加里·馬庫斯認為，人工智慧之所以容易受到這種方式的欺騙，是因為“機器不理解整個場景，”他告訴我。人工智慧可以識別物體，但它無法理解物體是什麼或它的用途。它不是“真正理解事物之間的因果關係，真正理解誰在對誰做什麼以及為什麼”。

在關於人工智慧系統在閱讀理解測試中取得優異成績的頭條新聞之後，馬庫斯貶低了這些結果，稱機器所做的事情與真正的理解無關。馬庫斯在推特上寫道：“SQuAD測試表明，機器可以突出顯示文字中的相關段落，而不是它們理解這些段落。”

馬庫斯認為，與其在成千上萬個例子上訓練人工智慧系統，該領域應該從認知心理學中汲取靈感，開發出具有更深層次理解的軟體。雖然深度學習可以從它從未見過的影像中識別出狗，甚至對其品種進行分類，但它不知道應該是人遛狗，而不是狗遛人。它不理解狗真正是什麼以及它應該如何與世界互動。“我們需要一種不同型別的人工智慧架構，它關注的是解釋，而不僅僅是模式識別，”馬庫斯說。

在它能夠做到這一點之前，我們的工作是安全的——至少暫時是這樣。