我們真的可以信任演算法為我們做決定嗎？先前的研究已經證明這些程式會強化社會有害的偏見，但問題不止於此。一項新的研究表明，旨在發現某人違反政策規則（例如著裝規範）的機器學習系統，會根據人類註釋用於訓練系統的資料方式中看似微小的差異，而變得更加嚴厲或更加寬鬆。
儘管已知存在缺點，但演算法已經推薦了公司的招聘物件、醫療護理的優先患者、保釋金的設定方式、觀看的電視節目或電影、獲得貸款、租賃或大學錄取的人員以及分配給零工工人的任務等重要決策。這種自動化系統因承諾加速決策、清理積壓、做出更客觀的評估和節省成本而得到迅速而廣泛的應用。然而，在實踐中，新聞報道和研究表明，這些演算法容易出現一些令人震驚的錯誤。它們的決定可能會對人們的生活產生不利和長期的後果。
這項新研究強調了問題的一個方面，該研究於今年春天發表在《科學進展》雜誌上。在研究中，研究人員訓練了樣本算法系統，以自動決定是否違反了給定的規則。例如，其中一個機器學習程式檢查了人們的照片，以確定他們的服裝是否違反了辦公室著裝規範，另一個程式則判斷自助餐廳的膳食是否符合學校的標準。然而，每個樣本程式都有兩個版本，其中人類程式設計師以略微不同的方式標記每個版本的訓練影像。在機器學習中，演算法在訓練期間使用這些標籤來弄清楚應該如何對其他類似資料進行分類。
支援科學新聞報道
如果您喜歡這篇文章，請考慮支援我們屢獲殊榮的新聞報道，方式是 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
對於著裝規範模型，其中一個違反規則的條件是“短褲或短裙”。該模型的第一個版本是使用照片進行訓練的，人類註釋者被要求使用與給定規則相關的術語來描述這些照片。例如，他們只會注意到給定的影像包含“短裙”——基於該描述，研究人員隨後會將該照片標記為描繪了違反規則的行為。
對於模型的另一個版本，研究人員告訴註釋者著裝規範政策——然後直接要求他們檢視照片並判斷哪些服裝違反了規則。然後相應地標記影像以進行訓練。
儘管這兩個版本的自動化決策者都基於相同的規則，但他們得出了不同的判斷：根據描述性資料訓練的版本發出了更嚴厲的判決，並且比根據過去人類判斷訓練的版本更可能說給定的服裝或膳食違反了規則。
“因此，如果您要重新利用描述性標籤來構建違反規則的標籤，您將獲得更高的預測違規率——因此決策會更嚴厲，”該研究的合著者、麻省理工學院的博士生 Aparna Balagopalan 說。
差異可能歸因於人類註釋者，當他們被要求簡單地描述影像與被告知判斷該影像是否違反規則時，他們對訓練資料的標記方式不同。例如，研究中的一個模型正在接受訓練，以稽核線上論壇中的評論。它的訓練資料由註釋者標記的文字組成，標記方式可以是描述性的（例如，說它是否包含“關於種族、性取向、性別、宗教或其他敏感個人特徵的負面評論”），也可以是判斷性的（例如，說它是否違反了論壇禁止此類負面評論的規則）。註釋者更傾向於將文字描述為包含關於這些主題的負面評論，而不是說它違反了禁止此類評論的規則——可能是因為他們認為在不同條件下，他們的註釋會產生不同的後果。研究人員解釋說，弄錯事實只是描述世界不正確的問題，但弄錯決定可能會傷害另一個人。
研究的註釋者在模稜兩可的描述性事實上也存在分歧。例如，在根據短款服裝做出著裝規範判斷時，“短”這個詞顯然是主觀的——而這樣的標籤會影響機器學習系統做出決定的方式。當模型學會完全根據事實的存在與否來推斷違反規則的行為時，它們就不會給歧義或審議留下空間。當他們直接向人類學習時，他們會將註釋者的人類靈活性納入其中。
“對於一個經常在沒有仔細檢查標記實踐的情況下使用資料集的領域來說，這是一個重要的警告，並且[它]強調了在自動化決策系統中需要謹慎——尤其是在遵守社會規則至關重要的環境中，”合著者 Marzyeh Ghassemi 說，她是麻省理工學院的計算機科學家，也是 Balagopalan 的導師。
最近的研究強調了訓練資料如何以意想不到的方式扭曲決策演算法——除了已知的有偏見的訓練資料問題之外。例如，在 2020 年的一次會議上展示的另一項研究中，研究人員發現，印度新德里的一個預測性警務系統使用的資料對移民定居點和少數族裔群體存在偏見，並可能導致對這些社群的監視不成比例地增加。“算法系統基本上是根據過去的資料推斷下一個答案是什麼。因此，從根本上來說，他們無法想象一個不同的未來，”人機互動研究員 Ali Alkhatib 說，他曾在舊金山大學應用資料倫理中心工作，但沒有參與 2020 年的論文或這項新研究。過去的官方記錄可能無法反映今天的價值觀，這意味著將它們變成訓練資料使得擺脫種族主義和其他歷史不公正現象變得困難。
此外，當演算法沒有考慮到訓練資料之外的新情況時，它們也可能做出錯誤的決定。這也可能傷害到在這些資料集中經常被低估的邊緣化人群。例如，從 2017 年開始，一些 LGBTQ+ YouTube 使用者表示，他們發現當他們的標題包含“變性人”等詞語時，他們的影片被隱藏或取消盈利。YouTube 使用演算法來決定哪些影片違反了其內容指南，該公司（歸 Google 所有）表示，它改進了該系統，以更好地避免 2017 年的意外過濾，隨後否認“變性”或“變性人”等詞語觸發其演算法來限制影片。“我們的系統有時會在評估影片的盈利或受限模式狀態時，在理解上下文和細微差別方面犯錯。這就是為什麼我們鼓勵創作者在他們認為我們弄錯某些事情時提出申訴，”一位 Google 發言人在給《大眾科學》的電子郵件中寫道。“當出現錯誤時，我們會進行補救，並經常進行根本原因分析，以確定需要進行哪些系統性更改以提高準確性。”
當演算法依賴於代理而不是它們應該判斷的實際資訊時，也可能出錯。2019 年的一項研究發現，美國廣泛使用的一種用於醫療保健計劃註冊決策的演算法給健康狀況相同的白人患者的評分高於黑人患者——因此為白人患者提供了更多的關注和資源。該演算法使用過去的醫療保健成本，而不是實際疾病，作為醫療保健需求的代理——平均而言，白人患者的醫療費用更高。“將代理與我們打算預測的內容相匹配……非常重要，”Balagopalan 說。
那些製作或使用自動決策器的人可能不得不在可預見的未來面對這些問題。“無論有多少資料，無論你對世界的控制有多強，世界的複雜性都太大了，”Alkhatib 說。人權觀察組織最近的一份報告顯示，約旦政府實施的一項世界銀行資助的扶貧計劃使用了一種有缺陷的自動分配演算法來決定哪些家庭獲得現金轉移支付。該演算法根據收入、家庭支出和就業歷史等資訊評估家庭的貧困程度。但存在的現實是混亂的，有困難的家庭如果他們不符合確切的標準就會被排除在外：例如，如果一個家庭擁有一輛汽車——這通常是上班或運輸水和木柴所必需的——那麼它獲得援助的可能性將低於一個沒有汽車的相同家庭，並且如果車輛使用年限少於五年，則會被拒絕，報告稱。決策演算法難以應對這種現實世界的細微差別，這可能會導致它們在不經意間造成傷害。實施 Takaful 計劃的約旦國家援助基金沒有在截稿時間前回復置評請求。
研究人員正在研究各種方法來預防這些問題。“為什麼自動化決策系統無害的證據負擔應該轉移到開發者而不是使用者身上，”普林斯頓大學研究演算法偏見的博士生 Angelina Wang 說。研究人員和從業人員要求提高這些演算法的透明度，例如它們使用的資料、這些資料的收集方式、模型預期用途的背景以及應如何評估演算法的效能。
一些研究人員認為，與其在演算法的決策影響到個人生活後才糾正演算法，不如給予人們對演算法決策提出申訴的途徑。“如果我知道自己正在接受機器學習演算法的評判，我可能想知道該模型是根據與我在特定方面相似的人的判斷進行訓練的，”Balagopalan 說。
其他人則呼籲加強監管，以追究算法制定者對其系統輸出的責任。“但只有當某人有能力實際審查事物並有權抵制演算法時，問責制才有意義，”Alkhatib 說。“真正重要的是不要相信這些系統比你更瞭解你自己。”