2003年伊拉克戰爭的第三天，一架英國戰鬥機在執行任務後返回其在科威特的基地時，被美國反導彈系統發現，該系統將其識別為敵方導彈並開火。飛機上的兩名人員均喪生。一週半後，同一系統——備受讚譽的“愛國者”導彈系統——犯了同樣的錯誤。這一次，被擊落的是一架美國飛機，一名美國飛行員喪生。
瞄準這兩架噴氣式飛機的導彈連幾乎完全自動化。當時有人在監視它，但他們聽從了機器的分析，這些友軍誤傷死亡事件就是結果。十年後，這個問題背後的根本原因並沒有消失。事實上，隨著軍方越來越依賴自動化，並在人工智慧的研發上投入巨資，這個問題變得更加緊迫。未來，這可能包括所謂的自主武器系統，人工智慧領域最具爭議的領域之一。
科羅拉多大學研究倫理學和軍事技術的教授希瑟·羅夫表示，這些友軍誤傷事件突顯了專家所說的自動化偏見。羅夫說：“會彈出一個螢幕，上面寫著：如果您不採取任何行動，我將開火。” 人類操作員在可以阻止武器發射的短暫時間內沒有采取任何行動，也沒有阻止。
支援科學新聞事業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞事業： 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和思想的具有影響力的故事。
自動化不僅僅侷限於選擇攻擊目標。美國空軍的一個名為“人類信任與互動部門”的單位，總部設在俄亥俄州代頓附近的賴特-帕特森空軍基地，正在研究人與機器如何互動，以開發新型的偵察和情報收集工具。
雖然該部門的名稱中沒有明確說明，但該單位研究的“互動”——至少部分是——在人類和機器人之間進行的。這項研究是軍方旨在開發新型自動化並將機器人技術推向未來的眾多專案之一。最近釋出的一份政府合同預先徵詢書，標題為“人類-機器團隊合作中的自主信任”，讓人們得以一窺未來的可能面貌。
該公告寫道：“空軍已將人機團隊合作作為主要研究方向提出。然而，為了實現這一雄心勃勃的願景，我們需要研究如何利用人際團隊/信任動態的社會情感因素，並將它們注入人-機器人團隊。” 空軍表示，這項研究對於開發“人類與機器之間共享的意識和共享的意圖”是必要的，並估計合同金額將為 750 萬美元。
空軍發言人達里爾·梅耶告訴 Vocativ，他們正在進行的工作是圍繞人類如何使用機器展開的。梅耶說：“我們的研究中心是信任校準過程，因此我們不是僅僅關注‘更多’的信任，而是關注‘適當的’信任，這意味著我們進行研究以瞭解人類何時恰當地使用技術，何時不恰當地使用技術。”
謝菲爾德大學人工智慧和機器人學教授諾埃爾·沙基認為，合同徵詢書中使用的那種語言——“社會情感”、“共享意識”、“共享意圖”——對於思考人類如何與機器互動毫無幫助。沙基在給 Vocativ 的電子郵件中問道：“機器什麼時候有了意圖和意識——難道我睡了一百年嗎？”
沙基表示，人們已經過度信任機器了，並呼應了羅夫對自動化偏見的擔憂：也就是說，如果機器說了什麼，那一定是正確的。沙基說：“人們需要減少對機器的信任。軍事人員（或任何人）最大的問題之一是各種各樣的自動化偏見。” “因此，出於軍事目的，我們需要更多地研究人類如何保持審慎的控制（特別是對武器的控制），而不僅僅是陷入信任機器的陷阱。”
自動化遠遠超出了戰場範圍，有時會產生深遠的影響。研究人工智慧的哲學家彼得·阿薩羅表示，需要提出問題，詢問人類在日常生活中如何以及何時將控制權移交給機器。
阿薩羅指出，自動駕駛汽車是這種緊張關係的完美例證。他問道：“據推測，汽車是自動駕駛的，因此方向盤後面的人可以將注意力放在其他事情上：電子郵件、娛樂、小睡等。那麼，汽車應該如何以及何時告知駕駛員他們正處於危急情況，並且汽車無法自行解決？” “是在事故發生前叫醒他們，還是隻是盡力而為？如果有人剛從小睡中醒來，看到迎面駛來的車道上有一輛卡車，但這輛卡車並沒有構成威脅，但人的自然反應是猛地轉向躲避呢？當這種情況構成危險時，汽車應該允許他們Override自動控制嗎？”
還有證據表明，人類有時會對機器人產生類似寵物的依戀。一項研究發現，一些使用爆炸物處理機器人計程車兵“與他們的爆炸物處理機器人建立了如此牢固的聯絡，以至於他們堅持在機器人修理後要回同一臺機器人，或者在他們的損壞的機器人無法修理時感到難過。” 另一份報告稱，一些 Roomba 吸塵器的主人在開啟機器人之前會先打掃一下，作為“對 Roomba 辛勤清潔工作的感謝”。
一些專家認為，機器人欺騙人類的能力即將到來。阿薩羅並不擔心會撒謊的機器人，但他確實指出，機器人可能能夠讓人類做他們不想做的事情，包括，也許，一些許多人會認為是積極的事情，比如讓老年人服用所需的藥物。
阿薩羅說：“我們可能還離能夠誘騙人們做對他們有益的事情的機器人很遠——他們需要更好地掌握讀取社交線索、使用社交線索以及破譯和操縱人類慾望和動機的能力。” 但是，他指出，“當然，可能會有各種各樣的邪惡的計算機和機器人來操縱人們，例如獲取他們的信用卡資訊等等。” 還可能存在他所描述的“微妙的操縱，例如產品植入或應用內購買”。
他說：“例如，如果你把酒灑在地毯上，而你的家用清潔機器人開始推薦特定的產品來清潔它，那是因為這是最好的清潔方法，還是因為機器人制造商和地毯去汙劑製造商之間存在商業協議？在這種情況下，我們是否需要公開此類協議？”
科羅拉多大學教授羅夫認為，主要問題是人們需要記住自己與機器人的區別。她說：“我認為技術很棒。但是我們必須警惕不要自己也變成機器人。”
本文經 Vocativ 許可轉載（© Vocativ）。該文章於 2015 年 8 月 24 日首次發表。