本文發表於《大眾科學》的前部落格網路，反映了作者的觀點，不一定反映《大眾科學》的觀點
“技術已經存在。我們缺少的只是意願。” 自從我讀了 凱茜·奧尼爾 的新書 《數學殺器》 以來，這些句子一直縈繞在我的腦海中。它們來自本書的最後一章，在這一章中，她一次又一次地說明了，用她的副標題來說，“大資料如何加劇不平等並威脅民主”。 隨著 Facebook 新的 熱門話題演算法 和新聞中的 資料驅動型警務，這本書無疑是及時的。
數學殺器，奧尼爾在整本書中將其稱為 WMD，是聲稱可以量化重要特徵（教師質量、累犯風險、信用度）的數學模型或演算法，但會產生有害結果，並且常常會加劇不平等，使窮人更窮，富人更富。 它們有三個共同點：不透明性、規模和危害。 它們通常是專有的或以其他方式受到保護，免受窺探，因此它們具有黑匣子的效果。 它們影響大量人群，增加了它們對其中一些人出錯的可能性。 它們對人們產生負面影響，可能是透過將種族主義或其他偏見編碼到演算法中，或者使掠奪性公司能夠有選擇地向弱勢群體投放廣告，甚至可能引發全球金融危機。
奧尼爾是撰寫這本書的理想人選。 她是一位學術數學家，後來成為華爾街的量化分析師，再後來成為資料科學家，她曾參與佔領華爾街運動，最近 創辦了一家演算法審計公司。 她是最強烈的發聲者之一，呼籲限制我們允許演算法影響我們生活的方式，並反對演算法因為是由一臺沒有情感的機器執行而不會造成偏見或不公正的觀點。
關於支援科學新聞業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。 透過購買訂閱，您正在幫助確保有關當今塑造我們世界的發現和想法的具有影響力的故事的未來。
許多人在想到大資料和演算法做出決策時，會想到華爾街和對沖基金。 正如《大空頭》和《群魔在此》等書令人沮喪地記錄的那樣，次級抵押貸款是 WMD 的完美例子。 大多數購買、出售甚至評估它們的人都不知道它們有多危險，而且經濟仍在遭受它們的影響。
奧尼爾談到了金融 WMD 和她的經歷，但她書中的例子也來自生活的許多其他方面：大學排名、就業申請篩選器、警務和量刑演算法、工作場所健康計劃，以及信用評分獎勵富人懲罰窮人的許多不當方式。 作為後者的一個例子，她分享了一個令人惱火的統計資料：“在佛羅里達州，擁有良好駕駛記錄和不良信用評分的成年人平均比信用良好且有酒後駕車定罪的同類駕駛員多支付 1552 美元。” （重點是她加的。）
她分享了一些人的故事，這些人以某種方式被演算法認為是不合格的。 有一位備受推崇的老師因教師評估工具評分低而被解僱，有一位大學生因在性格測試中的回答而無法在雜貨店找到最低工資的工作，還有一些人的信用卡消費限額因在某些商店購物而被降低。 更糟糕的是，評判他們的演算法是完全不透明且不可反駁的。 當演算法出錯時，人們通常無 recourse。
許多 WMD 創造了使不公正現象永久存在的反饋迴圈。 累犯模型和預測性警務演算法——根據犯罪資料派遣警官在特定地點巡邏的程式——充滿了有害反饋迴圈的可能性。 例如，累犯模型可能會詢問該人與執法部門的第一次接觸。 由於種族主義警務做法，例如攔路搜身，黑人比白人更有可能更早地進行第一次接觸。 如果模型考慮了這一衡量標準，它可能會認為黑人更有可能 但它們造成的危害甚至超出了它們可能具有種族主義傾向的範圍。 奧尼爾寫道：
一個被評為“高風險”的人很可能失業，並且來自一個許多朋友和家人都曾與法律發生衝突的社群。 部分由於評估結果得分較高，他被判處更長的刑期，被關在監獄裡多年，周圍都是獄友——這增加了他重返監獄的可能性。 他最終被釋放到同一個貧困社群，這次有了犯罪記錄，這使得他更難找到工作。 如果他再次犯罪，累犯模型可以聲稱又一次成功。 但實際上，該模型本身助長了一個惡性迴圈，並有助於維持它。
奧尼爾的書之所以重要，部分原因在於，正如她指出的那樣，WMD 的一個陰險之處在於，對於我們這些在這個社會中擁有更多權力和特權的人來說，它們是隱形的。 作為一個住在相對富裕社群的白人，我在瀏覽網頁時不會被掠奪性發薪日貸款人的廣告所針對，也不會受到警察的騷擾，因為演算法將他們派到那裡巡邏“簡陋”的社群。 像我這樣的人需要知道這些事情正在發生在其他人身上，並更多地瞭解如何與它們作鬥爭。
雖然《數學殺器》充滿了殘酷的真相和令人沮喪的統計資料，但它也通俗易懂，甚至引人入勝。 奧尼爾的寫作風格直接且易於閱讀——我一個下午就讀完了。 而且這本書並非全是陰鬱的。 在最後一章中，她分享了一些關於我們如何解除 WMD 武裝並利用大資料造福於社會的想法。 她為資料科學家提出了希波克拉底誓言，並撰寫了關於如何監管數學模型的文章。 讓我們回到我開篇的句子：“技術已經存在。我們缺少的只是意願。” 這是令人沮喪的——我們沒有盡我們所能——但也應該給我們一些希望。 技術已經存在！ 如果我們培養意願，我們就可以利用大資料來促進平等和正義。