最近，蘋果釋出了三項旨在保護兒童安全的新功能。其中一項名為“資訊中的通訊安全”的功能，將掃描13歲以下使用者的iMessage資訊，以識別和模糊露骨的性影像，並在他們的孩子開啟或傳送包含此類影像的資訊時提醒父母。乍一看，這似乎是減輕年輕人被成年掠食者剝削風險的好方法。但是，它可能弊大於利。
雖然我們希望所有父母都想保護自己的孩子，但這對於許多孩子來說並非現實。特別是 LGBTQ+ 青少年，他們遭受父母暴力和虐待的風險很高，無家可歸的可能性是其他人的兩倍，並且佔寄養系統的 30%。此外，他們更有可能傳送露骨的影像，例如蘋果公司試圖檢測和報告的那些影像，部分原因是缺乏性教育。將孩子的簡訊行為報告給他們的父母可能會暴露他們的性偏好，這可能導致暴力甚至無家可歸。
這種危害因該功能所依賴的技術不太可能準確檢測有害的露骨影像而加劇。蘋果表示，它將使用“裝置上的機器學習來分析影像附件，並確定照片是否露骨”。所有 13 歲以下人士的蘋果賬戶傳送或接收的照片都將被掃描，如果此賬戶與指定的父母賬戶關聯，則會發送父母通知。
支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保關於塑造我們當今世界的發現和想法的有影響力的故事的未來。
目前尚不清楚該演算法的工作效果如何，也不清楚它將準確檢測到什麼。一些色情內容檢測演算法會根據皮膚暴露的百分比來標記內容。例如，該演算法可能會標記母親和女兒在海灘上穿泳衣的照片。如果兩個年輕人互相傳送一張衣著暴露的名人的照片，他們的父母可能會收到通知。
計算機視覺是一個出了名的難題，現有的演算法（例如，用於人臉檢測的演算法）存在已知的偏差，包括它們經常無法識別非白人面孔的事實。蘋果系統出現不準確的風險尤其高，因為大多數學術界釋出的裸體檢測演算法都使用成年人的影像進行訓練。蘋果公司沒有公開他們正在使用的演算法，所以我們不知道它的工作效果如何，特別是對於檢測年輕人自己拍攝的影像——這大概是最令人擔憂的。
這些演算法準確性的問題令人擔憂，因為它們可能會誤導年輕人的期望。當我們過度熱情地宣佈某種行為“不好”或“危險”時——即使是青少年之間分享泳衣照片——我們會模糊年輕人識別真正有害的事情發生的能力。
事實上，即使有了這個功能，我們也在教導年輕人他們沒有隱私權。剝奪年輕人的隱私和同意權與聯合國兒童基金會的循證指南中關於預防線上和線下兒童性剝削和虐待的建議完全相反。此外，此功能不僅有可能造成傷害，而且還為更廣泛地侵入我們的私人對話打開了大門，包括政府的侵入。
在設計技術以確保年輕人線上安全方面，我們需要做得更好。首先要讓潛在的受害者自己參與安全系統的設計。正如圍繞設計正義的日益增長的運動所表明的那樣，讓受技術影響最大的人參與進來是防止傷害和設計更有效解決方案的有效方法。到目前為止，青少年還沒有參與技術公司或研究人員正在進行的對話。他們需要參與進來。
我們還必須記住，技術不能單獨解決社會問題。重要的是要將資源和精力集中在首先防止有害情況的發生。例如，遵循聯合國兒童基金會的指南和基於研究的建議，擴大全面的、基於同意的性教育計劃，以幫助年輕人安全地學習和發展他們的性行為。
這是一篇觀點和分析文章；作者或作者表達的觀點不一定代表《大眾科學》的觀點。