2021年，TikTok上出現了一些影片，似乎顯示“湯姆·克魯斯”在變消失硬幣和享用棒棒糖，賬戶名是唯一明顯的線索，表明這不是真實的。社交媒體平臺上的“deeptomcruise”賬戶的建立者正在使用“深度偽造”技術來展示這位著名演員的機器生成版本，表演魔術和進行個人舞蹈比賽。
深度偽造的一個跡象曾經是“恐怖谷”效應，這是一種由合成人空洞的眼神引發的不安感覺。但越來越逼真的影像正將觀看者從恐怖谷中拉出來，帶入由深度偽造傳播的欺騙世界。
驚人的真實感對這項技術的惡意用途產生了影響：它可能被武器化，用於政治或其他目的的虛假資訊宣傳活動，為敲詐勒索建立虛假色情製品，以及為新型虐待和欺詐進行的無數複雜操縱。開發識別深度偽造的反制措施已演變成安全偵探與網路罪犯和網路戰行動人員之間的一場“軍備競賽”。
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續產出關於塑造我們當今世界的發現和想法的有影響力的報道。
美國國家科學院院刊Proceedings of the National Academy of Sciences USA上發表的一項新研究衡量了這項技術取得了多大的進展。結果表明，真人很容易被機器生成的面孔所欺騙，甚至認為它們比真實的面孔更值得信任。“我們發現，合成面孔不僅高度逼真，而且被認為比真實面孔更值得信任，”加州大學伯克利分校教授、研究合著者Hany Farid說。這一結果引發了人們的擔憂，“這些面孔在用於不正當目的時可能非常有效。”
“我們確實進入了危險的深度偽造世界，”瑞士義大利盧加諾大學副教授Piotr Didyk說，他沒有參與這篇論文。用於生成這項研究的靜態影像的工具已經普遍可用。Didyk認為，儘管建立同樣複雜的影片更具挑戰性，但相關的工具可能很快就會普及。
這項研究的合成面孔是在兩個神經網路之間來回互動的過程中開發的，這兩個神經網路是生成對抗網路的一種例子。其中一個網路，稱為生成器，產生了一系列不斷演變的合成面孔，就像學生逐步完成草稿一樣。另一個網路，稱為判別器，在真實影像上進行訓練，然後透過將其與真實面孔的資料進行比較來對生成的輸出進行評分。
生成器從隨機畫素開始練習。在來自判別器的反饋下，它逐漸生成越來越逼真的人臉。最終，判別器無法區分真實面孔和虛假面孔。
這些網路在代表黑人、東亞人、南亞人和白人的男性和女性的真實影像陣列上進行了訓練，這與早期研究中更常見的白人男性面孔的使用形成對比。
在彙編了400張真實面孔和400張合成版本後，研究人員要求315人從128張影像的選擇中區分真實面孔和虛假面孔。另一組219名參與者接受了一些關於如何識別假面孔的培訓和反饋，當他們嘗試區分面孔時。最後，第三組223名參與者各自對128張影像的選擇進行了可信度評分，從1分（非常不可信）到7分（非常可信）。
第一組在區分真實面孔和虛假面孔方面並沒有比拋硬幣好多少，平均準確率為48.2%。第二組未能顯示出明顯的改進，即使在獲得關於參與者選擇的反饋後，也只獲得了約59%的準確率。對可信度進行評分的小組給合成面孔的平均評分略高，為4.82，而真實人物的平均評分為4.48。
研究人員並沒有預料到這些結果。“我們最初認為合成面孔的可信度會低於真實面孔，”研究合著者Sophie Nightingale說。
恐怖谷的想法並沒有完全過時。研究參與者確實壓倒性地將一些假面孔識別為假面孔。“我們並不是說生成的每一張影像都與真實面孔無法區分，但其中很大一部分是無法區分的，”Nightingale說。
這一發現加劇了人們對技術的可及性的擔憂，這種技術使幾乎任何人都可以建立欺騙性的靜態影像。“任何人都可以建立合成內容，而無需具備Photoshop或CGI的專業知識，”Nightingale說。另一個擔憂是，這些發現會造成深度偽造將變得完全無法檢測的印象，南加州大學視覺智慧與多媒體分析實驗室創始主任Wael Abd-Almageed說，他沒有參與這項研究。他擔心科學家可能會放棄開發深度偽造的反制措施，儘管他認為保持對其檢測與日益增長的真實感同步是“僅僅是另一個法醫學問題”。
“在這個研究界，沒有進行足夠多的對話是如何開始主動改進這些檢測工具，”WITNESS專案戰略與創新主管Sam Gregory說，WITNESS是一個人權組織，部分專注於區分深度偽造的方法。他說，製作檢測工具非常重要，因為人們傾向於高估自己發現假面孔的能力，“公眾始終需要了解他們何時被惡意利用。”
Gregory沒有參與這項研究，他指出，該研究的作者直接解決了這些問題。他們強調了三種可能的解決方案，包括為這些生成的影像建立持久的水印，“就像嵌入指紋一樣，這樣你就可以看到它來自生成過程，”他說。
該研究的作者在強調深度偽造的欺騙性用途將繼續構成威脅後，以一個鮮明的結論結束：“因此，我們鼓勵那些開發這些技術的人考慮相關的風險是否大於其益處，”他們寫道。“如果是這樣，那麼我們不鼓勵僅僅因為技術是可能的就開發它。”