盯著任何房間的空白牆壁，你不太可能瞭解到比油漆顏色更多的資訊。但是一項新技術可以不顯眼地掃描同一表面，以獲取人眼無法察覺的陰影和反射，然後分析它們以確定細節，包括房間裡有多少人以及他們在做什麼。這種工具可以從空間的區域性檢視中推斷資訊，也許可以窺探角落周圍的活動或監視躲避攝像頭視線的人。
當人們在房間裡移動時，他們的身體會阻擋一部分可用光線，從而在牆壁上產生微妙而不清晰的“柔和陰影”。色彩鮮豔的衣服甚至可以投射出微弱的反射光。但是，這些微弱的訊號通常會被主要的環境光源淹沒。“如果我們能夠做一些事情，比如從我們觀察到的任何東西中減去這個環境項，那麼你只會剩下攝像頭噪聲——和訊號，”麻省理工學院的研究生普拉富爾·夏爾馬說。夏爾馬和其他麻省理工學院的研究人員透過拍攝房間內牆壁的影片，並在其居住者移動時對幀進行平均，從而隔離了環境項。這消除了人類移動的陰影，只留下了主要光源的光線以及傢俱或其他靜止物體的陰影。然後，研究人員從即時影片中刪除了這些特徵，從而顯示了牆壁上移動的陰影。
接下來，夏爾馬的團隊記錄了幾個房間的空白牆壁，研究人員在其中上演了各種場景和活動。人們在攝像頭視野之外單獨或成對移動。其他人蹲伏、跳躍或揮舞手臂。然後，團隊將影片輸入到機器學習模型中，以教會它哪些柔和陰影模式指示哪些行為。由此產生的系統可以自動分析任何房間空白牆壁的即時錄影，確定人數及其行為。這項工作在10月份的2021年國際計算機視覺會議上進行了展示。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關當今塑造我們世界的發現和想法的具有影響力的故事的未來。
儘管該系統可以在任何房間中無需校準即可執行，但在昏暗的照明或閃爍的光源（如電視）存在的情況下，其效能會很差。它只能註冊已訓練的群體規模和活動，並且需要高解析度攝像頭；標準數碼相機產生了太多的背景噪聲，而智慧手機相機的效果甚至更差。
儘管存在侷限性，但該方法突出了成像和機器學習如何將難以察覺的指標轉化為監控。“這是一個非常酷的科學發現，如此低強度的訊號可以用來預測資訊，”夏爾馬說。“當然，正如我們所確定的，肉眼根本無法做到這一點。”
空白牆壁遠非第一個揭示周圍環境秘密的看似無辜的物品。“一般來說，這些被稱為側通道攻擊或側通道監視，”非營利組織電子前沿基金會的職員技術專家本內特·賽弗斯說，該組織旨在促進數字權利。“當您使用並非直接尋找的資訊來源（可能超出收集資訊的正常方式的範圍）來了解似乎無法瞭解的事情時，就會發生這種情況。”
側通道攻擊可以利用一些極其不起眼的輸入。2020年，研究人員利用各種閃亮物體的反射——包括一袋薯片——重建了周圍房間的影像。聲音和其他振動也可以產生大量間接資訊。例如，一個人在電腦上打字的音訊可以揭示正在書寫的單詞。而電腦本身也可以充當麥克風：在2019年的一項研究中，研究人員開發了一種軟體，可以檢測和分析環境聲波如何晃動硬碟驅動器的讀寫頭在其磁碟上的磁軌——從而有效地記錄機器附近發生的對話。
科學家還開發了基於地板的感測器，能夠檢測腳步振動，識別個人身份，甚至診斷出某些疾病。這些技術大多依賴於機器學習來檢測人類智慧無法檢測到的模式。隨著高解析度視聽記錄和計算能力的普及，研究人員可以使用許多不同的輸入來訓練系統，以從經常被忽視的線索中收集資訊。
到目前為止，至少監視的潛力似乎並沒有讓許多隱私倡導者徹夜難眠。“這種空白牆壁攻擊以及其他類似複雜的側通道攻擊，根本不應該成為普通人的擔憂，”斯坦福網際網路天文臺的研究學者里亞娜·普費弗科恩說。“它們是學術研究人員的酷技巧，距離執法部門實際應用還很遙遠。”日常使用“在未來還很遙遠，即使真的有那一天，警察仍然不能非法侵入您的財產，並將攝像頭貼在您的窗戶上。”賽弗斯表示同意。“每個人都攜帶智慧手機，很多人家裡都有智慧揚聲器，他們的汽車都連線到網際網路，”他指出。“公司和政府通常不必求助於空白牆壁的錄影來收集他們想要的那種資訊。”
儘管側通道方法目前不太可能針對普通人，但它們最終可能會找到在現實世界中的應用。“軍方和情報機構一直對他們可以獲得的任何型別的監視都有特定的用途，”賽弗斯說。夏爾馬同意這種用途是可能的，但他也提出了一些更無害的用途：例如，車輛可以掃描空白牆壁，作為在視線不良區域（如停車場）的自動行人檢測系統的一部分。一些探索側通道技術的研究人員認為，它們可以用於監控老年人並檢測跌倒或其他問題。
夏爾馬說，他自己的系統能夠檢測跌倒——如果他收集了示例來訓練它。但是，他打趣道，“我拒絕在20個不同的房間裡摔倒來收集資料。”