全自動武器對人類構成獨特的危險

2019年9月，18架載彈無人機和7枚巡航導彈蜂擁而至，突破了沙烏地阿拉伯先進的防空系統，撞擊了阿布蓋格和胡賴斯油田及其加工設施。葉門胡塞武裝聲稱對這次出人意料的精密襲擊負責，這次襲擊使該國原油和天然氣產量減半，並迫使全球油價上漲。然而，這些無人機可能並非完全自主：它們沒有相互通訊來選擇自己的目標，例如特定的儲油罐或煉油廠建築物。相反，每架無人機似乎都預先程式設計了精確的座標，並透過衛星定位系統導航數百公里到達這些座標。

然而，就在您閱讀這篇文章時，全自動武器系統（AWS）可能正在戰區執行。土耳其已宣佈計劃在2020年初部署一支自主卡爾古四旋翼飛行器對抗敘利亞軍隊，俄羅斯也在為該地區開發空中蜂群。一旦發射，AWS無需人工監督即可發現、跟蹤、選擇和攻擊目標，並施加暴力。

自主武器不是有自我意識的、人形的“終結者”機器人，密謀接管世界；它們是計算機控制的坦克、飛機、艦船和潛艇。即便如此，它們也代表了戰爭性質的根本性改變。人類正在將殺戮的決定外包給機器——沒有人監督以在攻擊實施前確定其合法性。自2000年代中期以來，美國國防部示意其打算為所有軍種開發自主武器，從而引發了全球人工智慧軍備競賽，此後，每個主要大國和幾個較小的國家都在努力獲取這些系統。美國國防部長馬克·埃斯珀表示，中國已經向中東出口AWS。

關於支援科學新聞

如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。

自主武器的軍事吸引力是多方面的。例如，美國海軍的X-47B是一種無人戰鬥機，即使在有風的條件下也能在航空母艦上起降並在空中加油，其航程將是有人駕駛戰鬥機的10倍。美國還開發了一種名為海獵號的無人跨洋軍艦，並配備了一支DASH（分散式敏捷潛艇獵殺）潛艇艦隊。2019年1月，海獵號從聖地亞哥航行到夏威夷並返回，證明了其在太平洋地區使用的適用性。俄羅斯正在將其最先進的T-14阿瑪塔坦克自動化，據推測將部署在歐洲邊境；與此同時，武器製造商卡拉什尼科夫展示了一種全自動戰鬥模組，可以安裝在現有武器系統（如火炮和坦克）上，使其能夠感知、選擇和攻擊目標。為了不甘示弱，中國正在研發人工智慧坦克和軍艦，以及一種名為“暗劍”的超音速自主空對空戰鬥機，這種飛機能夠以如此急劇和快速地扭轉和轉彎，以至於產生的重力會殺死一名人類飛行員。

鑑於如此激烈的競爭，焦點不可避免地轉向速度更快的機器和自主無人機蜂群，這些蜂群可以透過大規模、多管齊下和協調一致的攻擊來壓倒敵方防禦。推動此類武器的大部分動力來自著眼於鉅額利潤的國防承包商，但擔心在人工智慧軍備競賽中落後的高階軍事指揮官也發揮了重要作用。一些國家，特別是美國和俄羅斯，只關注自主系統的潛在軍事優勢——這種目光短淺的觀點使他們無法考慮當競爭對手趕上時可能出現的令人不安的局面。

作為一名機器人專家，當我第一次瞭解到建造AWS的計劃時，我就認識到對武器系統進行有意義的人工控制的必要性。我們正面臨戰爭的新時代，就像原子時代的曙光一樣。無需歷史學家也能意識到，一旦一種新型武器進入軍事強國的武庫，其使用將逐漸擴大，使人類面臨今天幾乎無法想象的衝突風險。2009年，我和其他三位學者成立了國際機器人武器控制委員會，該委員會後來與其他非政府組織（NGO）合作，組成了“阻止殺手機器人運動”。該運動現在是由來自60個國家的130個非政府組織組成的聯盟，旨在說服聯合國談判一項具有法律約束力的條約，該條約將禁止開發、測試和生產在沒有有意義的人工控制的情況下選擇目標並以暴力攻擊它們的武器。

思考時間

“拯救世界的男人”的真實故事說明了將人類從戰爭決策迴路中排除出來的系統的最終危險。1983年，斯坦尼斯拉夫·彼得羅夫中校在俄羅斯核早期預警中心值班，當時他的計算機發出響亮的警報聲，螢幕上以粗體紅色字母顯示“發射”字樣——這表明一枚美國核導彈正在快速逼近。彼得羅夫按捺住緊張情緒，等待著。第二次發射警告響起，然後是第三次和第四次。隨著第五次警告，他螢幕上的紅色“發射”變成了“導彈襲擊”。蘇聯反擊的時間不多了，但彼得羅夫繼續他的深思熟慮。“然後我做出了我的決定，”彼得羅夫在2013年接受BBC採訪時說。“我不相信計算機。”他將核攻擊報告為誤報——即使他不能確定。事實證明，蘇聯衛星上的車載計算系統將雲層反射的陽光錯誤地歸類為洲際彈道導彈的發動機。

這個故事說明了深思熟慮的人工決策在戰爭中的重要作用：考慮到這些輸入，自主系統會決定開火。但是做出正確的決定需要時間。一百年的心理學研究告訴我們，如果我們不花至少一分鐘時間來仔細思考，我們就會忽視矛盾的資訊，忽略歧義，壓制懷疑，忽視確認性證據的缺失，編造原因和意圖，並順應期望。令人震驚的是，AWS的一個經常被引用的理由是，衝突的展開速度太快，人類無法做出決策。

“它比我快得多，”美國陸軍採購官員布魯斯·杰特去年10月對國防新聞說，他指的是坦克的目標瞄準系統。“我無法像它那樣快速地看到和思考它能夠計算出的某些事情。”事實上，速度是部分自主武器已經用於某些防禦行動的一個關鍵原因，這些行動要求在幾秒鐘內完成對威脅的探測、評估和響應。這些系統——統稱為SARMO（感知和反應軍事物體）、自動化和自動武器系統——包括以色列的“鐵穹”，用於保護該國免受火箭和導彈的襲擊；美國的“密集陣”火炮，安裝在軍艦上，以防禦反艦導彈或直升機的襲擊；以及德國的NBS“螳螂”炮，用於擊落較小的彈藥，如迫擊炮彈。它們是區域性的、防禦性的，不以人為目標，並且在緊急情況下由人類啟動——這就是為什麼它們不被認為是完全自主的。

誠然，這種區分很細微，並且SARMO和AWS技術邊緣的武器已經在使用中。例如，以色列的“哈比”和“哈洛普”空中無人機是裝載炸藥的火箭，在空襲前發射，以清除該區域的防空設施。它們在附近巡航，搜尋雷達訊號，確定訊號是來自友方還是敵方，如果是後者，則俯衝轟炸，假設雷達與防空設施相連。2019年5月，據一份報告稱，以色列的秘密無人機——“哈洛普”——炸燬了敘利亞境內的俄羅斯製造的防空系統。

這些無人機是“巡飛彈藥”，僅在攻擊時加速，但幾種全自動系統的速度將從亞音速到超音速再到高超音速不等。例如，美國國防高階研究計劃局（DARPA）已經測試了“獵鷹”無人高超音速飛機，其速度約為音速的20倍——大約每小時21000公里。

除了速度之外，軍隊還在追求“力量倍增”——透過自主無人機來提高武器系統的破壞能力，這些無人機像狼群一樣合作，相互通訊以選擇和獵殺單個目標。一個人可以發射數百個（甚至數千個）武裝無人機蜂群到空中、陸地或水面，或水下。一旦AWS被部署，操作員充其量成為觀察員，他們可以中止攻擊——如果通訊鏈路沒有被切斷的話。

為此，美國正在開發固定翼無人機蜂群，如“雀鷹”和“小妖精”，它們可以攜帶導彈進行長距離飛行。DARPA已經對空中四旋翼無人機（以其高機動性而聞名）與地面車輛的蜂群協調進行了實地測試，海軍研究辦公室已經展示了一支由13艘船組成的艦隊，可以“壓倒對手”。中國電子科技集團公司採取了一項揭示該國意圖的舉動，（分別）測試了一組200架固定翼無人機，以及56艘小型無人艦艇，用於攻擊敵方軍艦。相比之下，俄羅斯似乎主要對坦克蜂群感興趣，這些坦克蜂群可以用於協同攻擊或部署來保衛國家邊界。

與敵人博弈

彼得羅夫的故事也表明，儘管計算機可能很快，但它們經常出錯。即使現在，憑藉現代計算和感測器處理令人難以置信的能力和速度，人工智慧系統也可能以許多不可預測的方式出錯。2012年，國防部承認了自主武器可能存在的此類計算機問題，並強調需要最大限度地減少人為錯誤、人機互動故障、功能失靈、通訊退化和軟體編碼故障。除了這些不言而喻的保障措施外，自主系統還必須免受對手透過網路攻擊、滲透工業供應鏈、訊號干擾、欺騙（誤導定位系統）和部署誘餌進行的顛覆。

實際上，防止敵人破壞將極其困難，而這些攻擊的後果可能是可怕的。干擾會阻止通訊，從而使操作員無法中止攻擊或重定向武器。它可能會擾亂蜂群中機器人武器之間的協調，並使其失控。欺騙會發送強烈的虛假GPS訊號，可能導致裝置迷路或被引導撞向建築物。

誘餌是欺騙感測器和目標瞄準系統的真實或虛擬實體。即使是最複雜的人工智慧系統也可能很容易被玩弄。研究人員發現，在標誌上巧妙地新增一些點或線，以至於人類無法察覺的方式，可能會誤導自動駕駛汽車，使其轉向另一條車道逆向行駛或無視停車標誌。想象一下，這樣的伎倆可能會給自主武器帶來什麼樣的麻煩。例如，車載計算機控制器可能會被愚弄，將熱狗攤誤認為是坦克。

然而，最令人困惑的是國防部清單上的最後一條指令：最大限度地減少“其他敵方反制措施或行動，或戰場上無法預料的情況”。不可能最大限度地減少戰場上無法預料的情況，因為你無法最大限度地減少你無法預料的事情。衝突區將具有潛在無限數量的不可預見的情況；衝突的本質就是出其不意地擊敗敵人。當涉及到AWS時，有很多方法可以欺騙感測器處理或擾亂計算機控制的機械。

國防部的指令遺漏了一個壓倒性的計算機問題，令人驚訝的是，那就是機器與機器之間互動的不可預測性。當敵方自主武器相互對抗時會發生什麼？令人擔憂的答案是沒有人知道或能夠知道。每個AWS都必須由一個絕密的計算機演算法控制。它的作戰策略必須對其他人保密，以防止敵人成功採取反制措施。從安全形度來看，保密是有道理的——但這大大降低了武器行為的可預測性。

亞馬遜網站上兩家書商bordeebook和profnath在2011年4月提供了一個演算法對抗失控的清晰例子。通常，1992年絕版書《果蠅的形成》的售價約為50美元，外加3.99美元的運費。但是，每次bordeebook提高價格時，profnath也會提高價格；反過來，這又提高了bordeebook的價格，依此類推。不到一週，bordeebook的書籍售價為23,698,655.93美元，外加3.99美元的運費，然後才有人注意到。兩個簡單且高度可預測的計算機演算法失控了，因為它們衝突的策略對競爭對手賣家來說是未知的。

儘管這種錯誤定價是無害的，但想象一下，如果兩群自主武器的複雜作戰演算法以高速相互作用，可能會發生什麼。除了對抗性影像、干擾、欺騙、誘餌和網路攻擊引入的不確定性之外，還必須面對在計算機演算法相互較量時無法預測結果的情況。應該清楚的是，這些武器代表了戰爭性質的非常危險的改變。意外衝突可能會如此迅速地爆發，以至於指揮官沒有時間理解或響應他們的武器正在做什麼——留下毀滅性的後果。

在俄羅斯邊境

想象一下以下情景，這是可能意外發生的眾多噩夢般的對抗之一——除非能夠阻止AWS競賽。現在是2040年，成千上萬輛自主超級坦克在俄羅斯與歐洲的邊境線上閃耀著霜凍的光芒。成群結隊的自主超音速機器人飛機在頭頂飛過，搜尋敵方活動。突然，一輛坦克向地平線發射了一枚導彈，一架民用客機在火焰中墜落。這是一起事故——感測器故障觸發了對抗模式——但坦克並不知道這一點。它們成群結隊地隆隆駛向邊境。戰鬥機轉入戰鬥隊形，並向黑海、巴倫支海和白海的機器人艦艇艦隊和自主潛艇群發出警報。

不到10秒後，北約的自主反擊武器從空中俯衝而下，地面和海上的攻擊編隊開始展開。雙方的作戰演算法對敵人都是未知的，因此沒有人可以預測敵對勢力將如何互動。戰鬥機透過俯衝、俯衝和扭轉來避開彼此，離心力會殺死任何人，它們以機器速度相互通訊。每一方都有許多伎倆來玩弄對方。這些伎倆包括擾亂彼此的訊號和使用虛假GPS座標進行欺騙，以擾亂協調和控制。

在三分鐘內，數百架噴氣式飛機在俄羅斯和歐洲城市的上空以接近高超音速的速度戰鬥。坦克已經衝過邊境，正在向通訊基礎設施以及火車站和道路上的所有移動車輛開火。自主艦艇上的大型火炮正在轟擊陸地。自主海軍戰鬥已經在海上和水下爆發。雙方的軍事領導人都在努力理解他們周圍正在發生的破壞。但他們能做什麼呢？與武器的所有通訊都已被幹擾，指揮和控制結構完全崩潰。自從客機意外被擊落以來，僅僅過去了22分鐘，成群結隊的坦克正在快速接近赫爾辛基、塔林、里加、維爾紐斯、基輔和第比利斯。

俄羅斯和西方領導人開始緊急討論，但沒有人能弄清楚這是如何開始的或原因。當近乎徒勞地努力疏散主要城市時，手指正在核按鈕上蠢蠢欲動。這種混亂是史無前例的，軍隊感到困惑。他們的計劃已經瓦解，死亡人數正在以毫秒為單位迅速增加。導航系統已被廣泛欺騙，因此一些武器正在脫離蜂群並撞向建築物。其他武器已被駭客入侵，正在進行殺戮狂潮。虛假的電子訊號正在使武器隨機開火。鄉村遍佈動物和人類的屍體；城市淪為廢墟。

人類的重要性

一項禁止開發、生產和使用AWS並確保對武器系統進行有意義的人工控制的具有約束力的國際條約變得越來越緊迫。一位人類專家，充分了解情況和背景，並有足夠的時間來審議目標的性質、重要性和合法性、攻擊的必要性和適當性以及可能的結果，應該決定是否開始攻擊。在過去的六年裡，“阻止殺手機器人運動”一直試圖說服聯合國成員國就一項條約達成一致。我們在聯合國《特定常規武器公約》（CCW）中工作，這是一個由125個國家組成的論壇，旨在談判禁止造成過度痛苦的武器。成千上萬的科學家和計算機與機器學習領域的領導人加入了這一呼籲，許多公司，如谷歌的DeepMind，也加入了這一呼籲。截至上次統計，已有30個國家要求徹底禁止全自動武器，但大多數其他國家都希望制定法規，以確保人類對做出攻擊（或不攻擊）的決定負責。然而，以美國、俄羅斯、以色列和澳大利亞為首的少數幾個國家正在阻礙進展。

在CCW上，俄羅斯和美國明確表示，他們反對“人工控制”一詞。美國正在努力用“適當程度的人工判斷”來取代它——如果認為合適，這可能意味著根本沒有人為控制。幸運的是，仍然存在一些希望。聯合國秘書長安東尼奧·古特雷斯告知CCW政府專家組，“擁有在沒有人為干預的情況下剝奪生命的力量和酌處權的機器在政治上是不可接受的，在道德上是令人厭惡的，應該受到國際法的禁止。”常識和人性必須佔上風——在為時已晚之前。