想象一下，在危機時刻撥打自殺預防熱線。您會詢問他們的資料收集政策嗎？您是否認為您的資料受到保護並安全儲存？最近發生的事件可能會讓您更仔細地考慮您的答案。
心理健康技術，如機器人和聊天熱線，為正在經歷危機的人們提供服務。他們是任何技術中最脆弱的使用者之一，他們應該期望自己的資料得到安全、保護和保密。不幸的是，最近的一些引人注目的例子表明，極其敏感的資料已被濫用。我們自己的研究發現，在收集資料時，心理健康人工智慧演算法的開發者只是測試它們是否有效。他們通常不解決關於如何使用它們的倫理、隱私和政治問題。至少，醫療保健倫理的相同標準應適用於用於提供心理健康護理的技術。
Politico最近報道稱，危機文字熱線（Crisis Text Line）是一個聲稱對處於危機中的人提供安全和保密資源的非營利組織，正在與其營利性衍生公司Loris AI共享從使用者那裡收集的資料，後者開發客戶服務軟體。危機文字熱線的一位官員最初為資料交換辯護，稱其符合倫理且“完全符合法律”。但在幾天之內，該組織宣佈已結束與Loris AI的資料共享關係，儘管它堅持認為資料已“安全處理、匿名化並清除了個人身份資訊”。
支援科學新聞事業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞事業 訂閱。透過購買訂閱，您正在幫助確保關於塑造我們當今世界的發現和想法的具有影響力的故事的未來。
Loris AI是一家使用人工智慧開發基於聊天機器人的客戶服務產品的公司，它使用了超過1億次危機文字熱線交流產生的資料，例如，幫助服務代理瞭解客戶情緒。據報道，Loris AI已刪除從危機文字熱線收到的任何資料，儘管這是否延伸到基於這些資料訓練的演算法尚不清楚。
這一事件和其他類似事件揭示了心理健康資料作為機器學習一部分的價值日益增長，並說明了這些資料流動的監管灰色地帶。脆弱或可能處於危機中的人們的福祉和隱私正受到威脅。他們是設計不良的數字技術的後果承擔者。2018年，美國邊境當局拒絕了幾位曾試圖自殺的加拿大人入境，理由是警方資料庫中的資訊。讓我們思考一下。非犯罪的心理健康資訊已透過執法資料庫共享，以標記希望過境的人。
政策制定者和監管機構需要證據來妥善管理人工智慧，更不用說其在心理健康產品中的應用了。
我們調查了 132項研究，這些研究測試了線上心理健康倡議中的自動化技術，例如聊天機器人。在85%的研究中，研究人員沒有在研究設計或結果報告中提及這些技術可能被用於負面用途的方式。儘管其中一些技術引發了嚴重的危害風險。例如，53項研究使用了公共社交媒體資料——在許多情況下未經同意——用於預測目的，例如試圖確定一個人的心理健康診斷。我們檢查的所有研究都沒有探討如果這些資料公開，人們可能遭受的潛在歧視。
極少有研究納入使用過心理健康服務的人的意見。只有3%的研究人員似乎以任何實質性方式納入了使用過心理健康服務的人在設計、評估或實施方面的意見。換句話說，推動該領域的研究嚴重缺乏將承擔這些技術後果的人的參與。
心理健康人工智慧開發者必須探索使用不同心理健康技術的長期和潛在不利影響，無論是資料的使用方式，還是技術未能滿足使用者需求時會發生什麼。學術期刊的編輯應要求這樣做才能發表，機構審查委員會成員、資助者等也應如此。這些要求應伴隨促進心理健康研究中生活經驗的標準的緊急採用。
在政策方面，美國大多數州都對典型的心理健康資訊給予特殊保護，但新興形式的心理健康資料似乎僅部分受到保護。諸如《健康保險流通與責任法案》（HIPAA）之類的法規不適用於直接面向消費者的醫療保健產品，包括人工智慧心理健康產品中使用的技術。美國食品藥品監督管理局（FDA）和聯邦貿易委員會（FTC）可能在評估這些直接面向消費者的技術及其宣告方面發揮作用。然而，FDA的範圍似乎不適用於健康資料收集者，例如健康應用程式、網站和社交網路，因此排除了大多數“間接”健康資料。聯邦貿易委員會也不涵蓋非營利組織收集的資料，這是危機文字熱線案例中提出的一個主要問題。
顯然，生成關於人類痛苦的資料不僅僅涉及潛在的隱私侵犯；它還對開放和自由的社會構成風險。人們會因為害怕其內心世界的不可預測的資料化而約束自己的言論和行為的可能性，將產生深遠的社會後果。想象一下，我們需要尋求專業的“社交媒體分析師”來幫助我們製作內容，使其看起來“心理健康良好”，或者僱主習慣性地篩選潛在員工的社交媒體以查詢“心理健康風險”的世界。
每個人的資料，無論他們是否使用過心理健康服務，都可能很快被用來預測未來的痛苦或障礙。人工智慧和大資料的實驗正在將我們的日常活動帶入精細的新形式的“心理健康相關資料”——這可能逃脫當前的監管。蘋果目前正與跨國生物技術公司Biogen和加州大學洛杉磯分校合作，探索使用手機感測器資料（如運動和睡眠模式）來推斷心理健康和認知衰退。
理論認為，只要分析足夠多關於一個人行為的資料點，就會出現不健康或殘疾的訊號。這些敏感資料為關於個人和群體的歧視性、偏見性和侵入性決策創造了新的機會。被標記為“抑鬱”或“認知障礙”——或可能變成這些情況——的資料將如何影響一個人的保險費率？個人是否能夠在資料轉移到其他實體之前對這些指定提出異議？
數字心理健康領域發展迅速，越來越多的公司看到了使用人們的心理健康資料的價值。世界經濟論壇的一份報告估計全球數字健康市場價值1180億美元，並將心理健康列為增長最快的領域之一。令人眼花繚亂的初創公司正在爭先恐後地成為心理健康領域的下一個重大事件，據報道，僅在2020年，“數字行為健康”公司就吸引了18億美元的風險投資。
私人資本的湧入與資金不足的醫療保健系統形成鮮明對比，在這些系統中，人們難以獲得適當的服務。對於許多人來說，面對面支援的更便宜的線上替代方案似乎是他們唯一的選擇，但這種選擇創造了我們才剛剛開始理解的新漏洞。
如果您需要幫助
如果您或您認識的人正在掙扎或有自殺念頭，請尋求幫助。撥打或傳送簡訊至988自殺與危機生命線988，或使用線上 生命線聊天。
這是一篇觀點和分析文章，作者或作者表達的觀點不一定代表 《大眾科學》的觀點。