在球體內部，世界被簡化為白色光芒和閃光球。球體的金屬骨架框架外部是一片黑暗。想象一下，你被綁在椅子上，在這個裝置裡。來自黑暗的聲音提出表情：嘴巴和眉毛的姿勢，需要反應的場景，要說的短語和要體現的情緒。不時地，聲音還會告訴你不要擔心，並警告說更多的閃光即將到來。
“我不認為我被嚇壞了，但那是一個非常令人壓抑的空間，”一位要求《大眾科學》出於隱私原因不透露姓名的演員說。他描述了他對“球體”的體驗，這是他對攝影測量棚的稱呼，該棚用於在 2022 年一部主要影片遊戲的製作過程中捕捉他的肖像。“感覺就像在[核磁共振成像機]裡，”他說。“這真的很科幻。”這位演員的經歷是掃描過程的一部分，該過程允許媒體制作工作室拍攝演員在各種姿勢的照片，並建立可移動、可塑的數字替身，隨後可以對其進行動畫處理，以在逼真的影片序列中執行幾乎任何動作或運動。
人工智慧的進步現在使製作這樣的數字替身變得越來越容易——即使沒有在球體中進行緊張的會話。一些演員擔心，在可能的未來，製片廠會迫使他們簽署放棄肖像權的協議，而他們的數字替身會搶走他們的工作。這是促使美國演員工會-美國電視和廣播藝人聯合會 (SAG-AFTRA) 成員罷工的因素之一。“表演者需要保護我們的影像和表演，以防止人工智慧技術取代人類表演，”該工會在 7 月中旬罷工宣佈幾天後釋出的一份宣告中說。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保關於塑造我們當今世界的發現和想法的具有影響力的故事的未來。
儘管人工智慧取代是一種令人不安的可能性，但今天媒體作品中看到的數字替身仍然依賴於人類表演者和特效藝術家。以下是該技術的工作原理——以及人工智慧如何顛覆既定的流程。
數字替身技術是如何運作的
在過去的 25 年左右，為大預算媒體作品製作至少一些表演者的面部和身體數字替身已變得越來越普遍。這項技術幾乎肯定在任何涉及大量數字特效、精心製作的動作場景或演員扮演多個年齡段角色的電影、電視節目或影片遊戲中發揮作用。“這已經成為行業標準，”Apple TV 節目《基地》的視覺特效主管 Chris MacLean 說。*
攝影測量棚是一個被數百臺攝像機包圍的區域，有時排列成球形，有時圍繞著一個方形房間。攝像機以高解析度捕捉人物面部的數千張有意重疊的二維影像。如果演員的角色涉及說話或表達情感，則需要許多不同面部動作的照片。因此，主演的演員比配角或背景演員需要更廣泛的掃描。同樣，較大的裝置用於掃描身體。
有了這些資料，視覺特效 (VFX) 藝術家將模型從二維變為三維。照片的重疊是關鍵。基於相機座標——以及那些冗餘的重疊部分——影像以類似於數字摺紙的過程相互對映和摺疊。然後，藝術家可以將生成的 3D 數字替身繫結到虛擬“骨架”併為其製作動畫——可以直接跟隨演員的真實世界、動作捕捉表演，也可以將該表演與計算機生成的一系列動作相結合。然後可以將動畫人物放置在數字景觀中並賦予對話——從技術上講，可以使用一個人的掃描來建立他們做和說演員從未做過或說過的逼真影片片段。
特效藝術家還可以將演員的數字表演應用於與真人完全不同的虛擬化身。例如，前面提到的影片遊戲演員說，他在球體中做了鬼臉，並在錄音棚中錄製了他的臺詞。他還與他的同伴表演者在單獨的工作室中實際表演了許多場景以進行動作捕捉，這是一個類似於攝影測量但旨在記錄身體運動的過程。然而，當玩家接觸最終產品時，他們不會在螢幕上看到這位演員。相反，他的數字替身被修改為看起來像一個具有特定外觀的反派。因此，最終的動畫角色體現了演員的工作和影片遊戲角色的特徵。
電影和電視製作已經使用這個過程幾十年了，儘管它在歷史上既勞動密集又昂貴。儘管有困難，數字替身仍然很常見。製作團隊經常使用它們進行涉及對話和動作的小調整。該技術也用於更大的編輯，例如將一組 100 名背景演員變形和複製成數千人的數字人群。但是，如果原始素材接近所需的最終輸出，則更容易以令人信服的方式完成此類壯舉。例如，MacLean 說，掃描穿著旨在複製 19 世紀歐洲服裝的服裝的背景演員很難編輯成數字替身穿著太空服的反烏托邦未來。“我認為製片廠不會有那麼大的耐心，”他補充道。
然而，生成式人工智慧，即 ChatGPT 背後的那種機器學習技術，開始使數字替身過程的某些方面更快更簡單。
人工智慧迅猛發展
MacLean 指出，一些視覺特效公司已經在使用生成式人工智慧來加速修改數字替身外觀的過程。這使得在《奪寶奇兵：命運轉盤》等電影中“逆齡”著名演員變得更加容易，其中包括一段現在 81 歲的哈里森·福特的年輕版閃回。Scan Truck 移動攝影測量公司的首席技術官 Vladimir Galat 表示，人工智慧在面部替換方面也很方便，在面部替換中，演員的肖像被疊加在特技替身上（本質上是經過批准的 深度偽造）。
Galat 說，人工智慧的進步使一些攝影測量掃描變得不必要：生成模型可以在現有的照片和影片素材上進行訓練——即使是已經去世的人的照片和影片素材。曾參與《復仇者聯盟：終局之戰》製作的視覺特效製作公司數字王國表示，也可以建立歷史人物的虛假數字表演。數字王國的首席技術官 Hanno Basse 說：“這是一項非常新的技術，但它在我們業務中所佔的比重越來越大。”
到目前為止，活人仍然參與制作“已故”人物的表演。一位真人演員表演一個場景，然後特效藝術家將他們的臉替換成歷史人物的臉。“我們認為演員表演的細微差別，結合我們的人工智慧和機器學習工具集，對於實現能夠吸引觀眾並跨越恐怖谷的逼真效果至關重要，”Basse 說，他指的是有時由看起來幾乎——但又不完全——像人類的事物引起的怪異感覺。
對機器人取代的恐懼
斯坦福大學計算機視覺和圖形學研究員，今年秋天將開始在密歇根大學任職的計算機工程師 Jeong Joon “JJ” Park 說，調整數字替身和完全用人工智慧取代一個人的表演之間存在差異。恐怖谷很寬，而且還沒有一種生成式人工智慧模型可以從頭開始生成完整的、逼真的、移動的場景——這項技術甚至還遠未成熟，Park 指出。為了實現這一目標，“我們開發的智慧需要有重大飛躍，”他說。（人工智慧生成的影像可能很難與真實事物區分開來，但製作逼真的靜止影像比建立旨在代表 3D 空間的影片容易得多。）
儘管如此，濫用演員肖像的威脅依然存在。如果一個人的臉可以很容易地換成另一個人的臉，那麼有什麼可以阻止電影製作人將湯姆·克魯斯放在每部動作電影的每個鏡頭中呢？有什麼可以阻止製片廠用一個背景演員替換 100 個背景演員，並使用人工智慧來製造許多演員的錯覺呢？版權和商標律師 Eleanor Lackman 說，州法律的拼湊意味著，在大多數地方，人們對其自身的肖像權擁有合法所有權。但她指出，對於藝術和表達用途存在廣泛的例外情況，而電影製作很容易屬於該指定範圍。媒體和科技律師 Jonathan Blavin 解釋說，無論法律如何，一個人都可以合法簽署合同，將其自身的肖像權讓給製作公司。在保護一個人的數字肖像權方面，一切都取決於合同的具體細節——美國演員工會-美國電視和廣播藝人聯合會 (SAG-AFTRA) 非常清楚這種情況。
去年，扮演影片遊戲反派角色的演員對為他的角色進行掃描感到很自在。“我合作的公司非常光明正大，”他說。但在未來，他可能不會那麼快達成協議。“人工智慧對面部捕捉的能力，以及我們從[罷工前談判]中看到的情況，令人感到恐懼，”他說。這位演員熱愛影片遊戲；他很高興能在遊戲中表演，並希望再次這樣做。但他說，首先，“我會仔細檢查檔案，與我的經紀公司聯絡——並可能諮詢律師。”
*編者注（2023 年 7 月 25 日）：這句話在釋出後經過編輯，以澄清 Chris MacLean 在 Apple TV 節目《基地》中的職位。