隨著組織越來越多地用演算法取代人類決策，他們可能會認為這些計算機程式缺乏我們的偏見。但演算法仍然反映了現實世界，這意味著它們可能會無意中延續現有的不平等。一項週四發表在《科學》雜誌上的研究發現，一個醫療保健風險預測演算法（美國超過 2 億人使用的工具的一個主要例子）顯示出種族偏見——因為它依賴於一個有缺陷的衡量需求的指標。
這個特殊的演算法幫助醫院和保險公司識別哪些患者將受益於“高風險護理管理”計劃，這些計劃為慢性病患者提供受過專門培訓的護理人員，並分配額外的初級保健就診次數以進行更密切的監測。透過挑選出病情較重的患者以進行更有組織和更有針對性的關注，這些計劃旨在先發制人地避免嚴重的併發症，從而降低成本並提高患者滿意度。
為了計算誰應該符合這種額外護理的資格，該演算法的設計者使用了以往患者的醫療保健支出作為醫療需求的替代指標——這是一個常見的基準。“成本是概括某人有多少醫療保健需求的一種非常有效的方式。它在許多資料集中都可用，而且您不需要對資料進行任何清理，”加州大學伯克利分校衛生政策與管理助理教授Ziad Obermeyer 說，他是這項新研究的主要作者。
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
然而，在這種情況下，研究人員發現這種替代安排效果不佳，因為即使黑人和白人患者花費相同的金額，他們的需求水平也不同：黑人患者往往為更積極的干預措施付費，例如糖尿病或高血壓併發症的急診就診。該論文檢查了近 50,000 名患者的醫療記錄——其中 6,079 名自我認定為黑人，43,539 名自我認定為白人——並將他們的演算法風險評分與他們的實際健康史進行了比較。研究人員發現，黑人患者的風險評分往往較低。例如，在所有被歸類為極高風險的患者中，黑人個體的慢性病比白人多 26.3%（儘管風險評分相似）。由於他們的記錄在案的醫療保健成本與更健康的白人相當，因此該計劃不太可能將符合條件的高風險護理管理黑人患者標記出來。當聯絡到這些結果時，美國排名前八位的健康保險公司，以及兩家主要醫院和精算師協會的專業團體，均拒絕置評。已發表的研究結果沒有提及該演算法或確定其開發者。
研究人員提出了一些造成這種問題的成本差異的原因。首先，種族和收入是相關的：有色人種更有可能收入較低。即使有保險，較貧困的患者也往往較少使用醫療服務，或者由於時間和地點的限制而減少了獲得醫療服務的機會。內隱種族偏見（非意識或自動行為，對有偏見的人來說並不明顯）也導致了醫療保健差距。由於黑人患者經常經歷這種偏見，他們接受的護理質量較低，並且對他們認為表現出偏見的醫生缺乏信任：非營利性國家經濟研究局的2018 年工作論文顯示，黑人患者在擁有黑人醫生時健康結果更好，因為醫生和患者之間有更高的信任度。如果沒有信任的醫患關係，黑人個體不太可能要求額外的護理並最終為此付費。
新論文字身依賴於記錄數量不均，白人患者的檔案數量大約是黑人患者的七倍。但這種差異“不是問題，因為它反映了現有資料的現實，”多倫多大學計算機科學和醫學系加拿大研究主席 Marzyeh Ghassemi 說。Ghassemi 沒有參與科學研究，她說使用了額外的計算模型來驗證研究結果的準確性。儘管如此，她指出，“資料多樣性不足是一個長期存在的有害問題。”
意識到可能存在的偏見——無論是上傳到演算法以供學習的資料中的偏見，還是（如本例中）歷史上使用的有偏差的代理來理解資料——對於人工智慧開發人員和使用者來說都很重要。“我希望本文的成果之一是人工智慧製造商和研究人員在他們的產品接觸到真實患者之前，會進行一組基本的審計，即預測的均等性，”Obermeyer 說。如果資料是問題所在，收集更多資料可以糾正偏見。如果問題出在演算法的程式設計假設中，則需要對程式進行審計。
Obermeyer 的團隊目前正在與評估的演算法的開發人員合作以解決這種情況。畢竟，他說，這項研究的重點不是阻止人工智慧在醫療保健中的應用。“我們無法僅靠人類來管理數百萬個醫療保健變數——我們確實需要人工智慧來幫助我們管理這些問題，”他補充道。“這就是本文背後的重點：指出問題所在以及如何解決它。”
“我欽佩研究人員聯絡了 [演算法] 公司，”Ghassemi 說，“他們與他們進行了接觸，這可以在已部署的系統中創造系統的、積極的改變。”演算法在醫療保健環境中的廣泛使用仍然非常新，該行業仍在學習如何應用它們。“這不是一個關於善與惡的故事，而是關於改進我們做事方式的故事。我們可以考慮到社會和文化偏見，並製作可以繞過這些偏見的演算法，以便我們可以獲得人工智慧的好處，”Obermeyer 說。“值得記住的是，人類也存在偏見。”