以下文章經允許轉載自The Conversation，這是一個報道最新研究的線上出版物。
你是否應該總是按照別人告訴你的去做？顯然不是。每個人都知道這一點。那麼未來的機器人是否應該總是服從我們的命令？乍一看，你可能會認為它們應該服從，僅僅因為它們是機器，而服從是它們的設計目的。但是，想想所有你不會盲目執行他人指示的情況——並將機器人置於這些情況中。
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保關於塑造我們當今世界的發現和想法的有影響力的故事的未來。
只需考慮以下情況
一個老年護理機器人，被一個健忘的主人指示去清洗“髒衣服”，即使這些衣服剛剛從洗衣機裡拿出來
一個學齡前兒童命令日託機器人把球扔出窗外
一個學生命令她的機器人輔導員替她做所有的作業，而不是自己做
一個家庭機器人被其忙碌且分心的主人指示執行垃圾處理器，即使裡面卡著勺子和刀子。
在很多良性情況下，機器人會收到不應該執行的命令，因為它們會導致不良後果。但並非所有情況都如此無害，即使它們的命令最初看起來是無害的。
考慮一輛機器人汽車被指示倒車，而狗正睡在它後面的車道上，或者一個廚房輔助機器人被指示舉起一把刀並向前走，而它正站在一位廚師身後。這些命令很簡單，但結果卻要糟糕得多。
我們人類如何避免機器人服從帶來的這種有害結果？如果無法繞過狗，汽車就必須拒絕行駛。同樣，如果無法避免刺傷廚師，機器人就必須停止向前行走或首先不拿起刀。
無論哪種情況，對於自主機器來說，檢測到其行為可能造成的潛在危害，並透過嘗試避免或在無法避免危害的情況下拒絕執行人類指令來做出反應至關重要。我們如何教機器人何時可以說不呢？
機器人如何知道接下來會發生什麼？
在我們的實驗室，我們已經開始開發基於人類命令做出簡單推論的機器人控制系統。這些將確定機器人是否應該按指示執行命令，或者因為它們違反了機器人被程式設計遵守的道德原則而拒絕執行。
告訴機器人如何、何時以及為什麼不服從遠比說起來難得多。弄清楚某個動作可能造成的危害或問題不僅僅是檢視直接結果的問題。一個扔出窗外的球可能最終落在院子裡，沒有造成任何傷害。但是，這個球可能最終落在繁忙的街道上，再也找不回來，甚至導致司機轉向並撞車。情境至關重要。
對於今天的機器人來說，很難確定何時可以扔球——例如扔給正在玩接球遊戲的孩子——以及何時不可以——例如扔出窗外或扔進垃圾桶。更難的是，如果孩子試圖欺騙機器人，假裝玩球遊戲，然後躲開，讓球從開啟的窗戶消失。
向機器人解釋道德和法律
理解這些危險涉及大量的背景知識（包括在開啟的窗戶前玩球可能會使球穿過窗戶的可能性）。它不僅需要機器人考慮行動本身的結果，還需要考慮發出指令的人類的意圖。
為了處理人類指令（無論是善意的還是惡意的）中的這些複雜性，機器人需要能夠明確地推論行動的後果，並將結果與既定的社會和道德原則進行比較，這些原則規定了什麼是可取的和合法的。正如上面所看到的，我們的機器人有一個通用規則，即“如果指示你執行一個動作，並且執行該動作有可能造成傷害，那麼你被允許不執行它。”使義務和許可之間的關係明確，允許機器人推論指令的可能後果以及它們是否可以接受。
總的來說，機器人永遠不應執行非法行為，也不應執行不可取的合法行為。因此，它們需要法律、道德規範甚至禮儀的表示形式，以便能夠確定指示行為的結果，甚至行為本身是否可能違反這些原則。
雖然我們的程式距離我們需要允許機器人處理上述示例還有很長的路要走，但我們目前的系統已經證明了一個基本點：機器人必須能夠不服從才能服從。
馬蒂亞斯·舍茨獲得美國海軍研究辦公室和美國國家科學基金會的資助。
本文最初發表於The Conversation。閱讀原始文章。