2006年接近尾聲時,時任印第安納州州長米奇·丹尼爾斯宣佈了一項計劃,旨在為該州“最貧困的人民提供更好的機會,擺脫福利,走向工作和尊嚴的世界”。他與包括IBM在內的多家公司組成的聯合體簽署了一份價值11.6億美元的合同,該合同將為印第安納州的福利計劃實現資格審查流程的自動化和私有化。
公眾無需前往縣政府辦公室填寫援助申請,而是被鼓勵透過新的線上系統進行申請。約1500名州僱員“轉型”到區域呼叫中心的私人職位。曾經負責地方福利辦公室家庭檔案的個案工作者,現在要對工作流程管理系統中佇列中出現的一系列任務做出響應。案件可能來自州內的任何地方;每個電話都會轉給下一個可用的工作人員。政府堅稱,轉向電子通訊將改善有需要的、年老的和殘疾人士獲得服務的機會,同時還能為納稅人節省資金。
從縣濟貧院的賬簿到優生記錄辦公室的照片幻燈片,美國長期以來一直在收集和分析關於貧困和工人階級家庭的大量資訊。與丹尼爾斯一樣,今天的政治家、政策制定者和專案管理者也經常寄希望於自動化來改造社會援助。這種趨勢有時被稱為貧困分析,即透過資料收集、共享和分析對窮人進行數字化監管。它採取多種形式,從使用統計模型預測兒童虐待到使用高畫質衛星影像繪製難民的流動路線。當代貧困分析的復興正達到頂峰,人們對大資料和人工智慧在改善福利、治安、刑事判決、無家可歸者服務等方面的力量進行了令人興奮的評估。
支援科學新聞報道
如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道: 訂閱。透過購買訂閱,您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
這些專案似乎秉持的核心信念是,貧困主要是一個系統工程問題。資訊只是沒有到達它需要去的地方,這意味著資源的使用效率低下,甚至可能適得其反。自動化資格審查系統、演算法決策和預測分析的興起,通常被譽為公共管理領域的一場革命。但這可能只是過去以偽科學為後盾的經濟配給制度的數字化迴歸。
窮人的科學
1884年,約瑟芬·肖·洛厄爾出版了《公共救濟與私人慈善》,敦促政府停止向正在與1873-1879年經濟蕭條的長期影響作鬥爭的家庭提供貧困救濟。洛厄爾是紐約市慈善組織協會的創始人之一,她寫道,即使在沒有事先道德調查的情況下提供適度的支援,也會製造貧困而不是緩解貧困,助長懶惰和惡習。她承諾“私人慈善可以而且將會為每一個應該避免求助於公共救濟來源的案例提供幫助。”但是,這個國家富有的慈善家如何接管政府保護公民免受經濟衝擊的責任呢?她的解決方案很簡單:讓慈善事業更加科學化。
洛厄爾和其他所謂的科學慈善事業的支持者認為,循證的、資料驅動的方法可以將值得幫助的窮人與不值得幫助的窮人區分開來,從而使社會援助更具成本效益和效率。這場運動率先採用了後來被稱為個案工作的方法,即警察仔細審查尋求救濟者的生活各個方面,並透過採訪鄰居、店主、醫生和神職人員來核實他們的說法。這滋生了一種預測和側寫、調查和道德分類的文化,釋放了關於貧困和工人階級家庭的大量資料,這些資料至今仍在流動。
當代貧困分析的支持者認為,如果我們使用這些資料來建立關於欺詐和浪費的“可操作的情報”,公共服務將會得到改善。例如,丹尼爾斯承諾,在合同的10年期間,印第安納州將節省5億美元的行政管理成本,並透過識別欺詐和不符合資格的情況再節省5億美元。
實際上,私人呼叫中心繫統切斷了個案工作者與他們服務物件之間的關係,使得難以確保家庭獲得他們有權獲得的所有福利。對於低收入家庭來說,優先考慮線上申請而不是面對面辦理程式是一個問題,因為他們中幾乎有一半人無法上網。該州未能將數十年的紙質檔案數字化,要求受助人重新提交所有檔案。僵化的自動化系統無法區分誠實的錯誤、官僚主義的錯誤和申請人試圖實施欺詐的行為。每一個小故障,無論是忘記簽名還是軟體錯誤,都被解釋為潛在的犯罪。
印第安納州自動化資格審查實驗的結果是,三年內拒絕了一百萬份福利申請,比前三年增加了54%。在憤怒的公民、兩黨的立法者和負擔過重的當地政府的壓力下,丹尼爾斯在2009年取消了與IBM的合同,導致了一場代價高昂、由納稅人資助的法律戰,這場法律戰持續了八年。
監視中的偏見
貧困分析不僅僅是由節省成本和提高效率的願望驅動的。它的支持者還有一個值得稱讚的目標,那就是消除偏見。畢竟,社會服務專案中陰險的種族歧視有著深刻的歷史根源。
在兒童福利系統中,問題傳統上不是將有色人種排除在外;而是他們不成比例地被納入那些增加國家對其家庭審查的專案中。根據國家少年和家庭法院法官委員會的資料,在47個州,非裔美國兒童被帶離家庭的比率超過了他們在總人口中的比例。賓夕法尼亞州阿勒格尼縣的情況確實如此:2016年,那裡寄養兒童中有38%是非裔美國人,儘管他們僅佔該縣青少年的不到19%。
2016年8月,阿勒格尼縣人類服務部 (DHS) 啟動了一個統計建模工具,他們認為該工具可以預測哪些兒童未來最有可能遭受虐待或忽視。阿勒格尼家庭篩查工具 (AFST) 由奧克蘭理工大學的經濟學家瑞瑪·瓦伊蒂亞納坦領導的國際團隊設計,團隊成員包括南加州大學兒童資料網路主任艾米麗·普特南-霍恩斯坦。它利用縣資料倉庫中收集的資訊,該倉庫定期從數十個公共專案(包括監獄、緩刑、縣精神衛生服務以及收入維持和公立學校辦公室)中提取資料。透過挖掘二十年的資料,DHS希望AFST可以幫助主觀的人工篩查員做出更好的建議,以決定哪些家庭應被轉介進行兒童保護調查。
19世紀的科學慈善改革者也認為,更客觀的決策可以改變公共專案,他們認為公共專案被贊助、政治機器和民族狹隘主義所腐敗。但他們透過狹隘的視角來看待偏見:歧視是偶發性的和故意的,是由自身利益驅動的。這場運動未能認識到的是,它是如何在所謂的客觀、科學的工具和實踐中構建系統性、結構性偏見的。
如果說科學慈善事業DNA的一個分支是緊縮,那麼另一個分支就是白人至上主義。科學慈善事業在標榜自己是循證的和價值中立的同時,拒絕向新解放的非裔美國人提供援助,並支援移民限制。它還投入了巨大的精力來保護白人精英免受它認為潛伏在種族內部的威脅:低智力、犯罪和不受約束的性行為。它的核心是一場優生運動:試圖透過減緩貧困家庭的增長來減緩貧困的增長。
毫無疑問,AFST等工具的出現源於減輕這種偏見的願望。但人為偏見也是預測風險模型的一個內建特徵。AFST主要依賴於僅針對那些尋求公共服務以獲得家庭支援的人收集的資料。較富裕的家庭可能會聘請保姆來幫助照顧孩子,或者與醫生合作以戒除毒癮。但由於他們自掏腰包或使用私人保險付款,因此他們的資料不會收集在倉庫中。因此,AFST可能會遺漏專業中產階級家庭中的虐待或忽視行為。對窮人的過度監視以系統性的方式塑造了模型的預測,將使用公共福利解釋為對兒童的風險。簡而言之,該模型將貧困育兒與不良育兒混淆了。
由於阿勒格尼縣的兒童死亡和接近死亡事件的發生率幸運地不足以產生可靠建模所需的資料量,因此瓦伊蒂亞納坦團隊使用了一個相關的變數來代替兒童虐待。經過一些實驗,研究人員決定使用兒童安置——當對兒童提出的報告被“篩選透過”進行調查,並導致該兒童在兩年內被安置在寄養家庭時——作為兒童傷害的替代指標。因此,該模型正在預測的結果是機構和法律系統做出的將兒童從家中帶走的決定,而不是實際發生的虐待事件。儘管這是一個出於必要而非惡意而做出的設計選擇,但兒童福祉天生是主觀的,這使其成為預測建模的不良候選物件。
此外,雖然AFST可能會發現接納篩查中的偏見模式,但這並不是種族失調現象進入系統的主要途徑。事實上,該縣自身的研究表明,大多數種族偏見是透過轉介而不是篩查進入系統的。社群報告非裔美國人和混血家庭的兒童虐待和忽視事件的頻率分別是白人家庭的三倍和四倍。一旦兒童被轉介,篩查員的自由裁量權就無關緊要了:2010年的一項研究表明,接納工作人員篩選通過了69%涉及非裔美國人和混血兒童的案件,以及65%涉及白人兒童的案件。具有諷刺意味的是,削弱篩查員的自由裁量權可能會加劇種族不公正,因為它消除了臨床判斷,而臨床判斷本可以在社群偏見可以被推翻時發揮作用。
更危險的是,人們傾向於相信技術比我們自己的決策更客觀。但經濟學家和資料科學家與呼叫篩查員一樣,也很可能對貧窮的白人家庭和有色人種家庭持有錯誤的文化觀念。當系統設計者將他們的假設編入這些工具時,他們將重大的政治選擇隱藏在經過數學粉飾的技術中立性的外表之下。
建模正義
在公共服務部門工作的管理者和資料科學家通常都有一個基本先入為主的觀念:貧困分析是一種分類系統,用於對如何使用有限的資源來解決巨大的需求做出艱難的抉擇。但是,決定接受某些人將被允許獲得他們的基本人權,而另一些人則不會被允許獲得,這本身就是一個政治選擇。貧困不是天災;它是由結構性剝削和糟糕的政策造成的。
資料科學確實可以在解決深刻的不平等問題中發揮作用。演算法決策的進步批評者建議關注透明度、問責制和以人為本的設計,以推動大資料走向社會正義。當然,任何用於在民主社會中做出決策的數字系統都應以這些價值觀為基礎。但貧困分析領域已將自身侷限於最多隻是逐步提高社會效益存疑的系統的準確性和公平性。我們首先需要重新思考基本原則。這意味著承認,在緊縮、結構性種族主義和貧困犯罪化的大背景下,不受約束的分析將加劇歧視並加劇經濟苦難。
我們應該首先測試產生與其應預測的效果完全相同的效果的自我實現的模型。例如,如果害怕被AFST評為高風險導致父母避免使用公共服務,這可能會產生可能導致虐待和忽視的那種壓力。我們還需要安裝能夠阻止具有負面或意外影響的系統的政策槓桿。這些系統收集的資料應該是安全的,但更重要的是,應該以非強迫的方式獲取,而不會讓家庭感到他們必須用一項基本人權——隱私、安全或家庭完整性——來換取另一項基本人權,例如食物或住所。
最後,對於那些因貧困分析而受到傷害的人,需要建立明確的補救機制。正如2018年世界經濟論壇關於機器學習中歧視的白皮書指出的那樣,那些設計和實施自動化決策系統的人有責任建立“及時糾正任何歧視性輸出”的協議,並使其易於查詢和使用。
除非我們改寫我們講述的虛假故事,否則貧困分析不會從根本上改變。儘管人們普遍認為貧困在美國是一種異常現象,但事實並非如此。根據社會學家馬克·R·蘭克和托馬斯·赫施爾的研究,51%的美國人在20歲至64歲之間的某個時候會跌落到貧困線以下,近三分之二的人將獲得諸如“貧困家庭臨時援助”和醫療補助等經過經濟狀況調查的公共援助計劃。因此,我們需要的不是設計精密的道德溫度計,而是為我們所有人建立普遍的底線保障。這意味著充分資助公共計劃,保障良好的工資和安全的工作條件,支援照料,促進健康,以及保護每個人的尊嚴和自決權。在我們做到這一點之前,我們不是在實現現代化的分類,而是在自動化不公正。

