靜物藝術家知道，為了使物體的影像看起來像真品，他們必須考慮到光線從物體上的反射方式。這些閃光的 appearance——它們的顏色、位置和亮度——受到物體周圍環境的影響。而這種效應意味著物體反過來可以揭示其環境的關鍵方面。研究人員現在發現，透過拍攝一個閃亮物體的簡短影片片段，他們可以使用從物體上閃爍的光線來構建其周圍房間的粗略影像。結果出奇地準確，無論反射來自碗、圓柱體還是皺巴巴的薯片袋。
用於重建環境的數學模型也可以近似已知物體在新環境中或從新角度觀察時的外觀——光線將如何從其上反射。這兩個應用是相關的。“我們研究領域的挑戰在於一切都如此糾纏，”華盛頓大學圖形和影像實驗室 (GRAIL) 的博士生鄭俊樸 (Jeong Joon Park) 說。“你需要解決光照問題才能獲得良好的外觀。你需要有一個良好的外觀模型才能獲得良好的光照。答案可能是將它們全部一起解決——就像我們所做的那樣。”
樸的研究團隊今年早些時候在伺服器 arXiv.org 上釋出了其研究的預印本 。該論文也被接受在下一屆年度 IEEE 計算機視覺和模式識別會議上展示，該會議將於六月遠端舉行。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保關於塑造我們今天世界的發現和想法的具有影響力的故事的未來。
樸說，這項新工作可以幫助設計師構建更逼真的增強現實和虛擬現實景觀。例如，在 Zoom 視訊通話中，許多人應用人工背景，其照明與實際使用者的照明不匹配。環境重建技術可以修改背景，使真實的面部更好地融入虛擬環境。
兩張影像顯示了同一個房間：一張是從房間內薯片袋的影片片段重建的（頂部），另一張是直接拍攝的（底部）。圖片來源：鄭俊樸
在另一個例子中，增強現實應用程式可能難以描繪一件傢俱在使用者的客廳中的外觀：它可能看起來更像卡通剪紙而不是堅實的固定裝置。樸說，他的團隊的模型可以使其看起來好像該物品實際上在房間裡。“你必須對你的環境進行一些估計，才能照亮這個虛擬物體，”他說。“而且[光照]越準確，虛擬物體就會越好。”
這項技術也適用於虛擬現實。在虛擬現實景觀中，使用者可能會戴著頭戴式耳機在人工場景中走動，或者“拿起”數字文物並在手中翻轉它。當他們這樣做時，該物品的外觀應該會改變——就像在現實世界中一樣——因為環境光條件。樸說，他的團隊的系統可以計算出光線的特徵，以便“為您提供場景任何視點的非常逼真的外觀估計。”
這個過程稱為檢視重建或新穎檢視合成。樸的團隊正在嘗試“提出一種合成或生成您以前從未見過的物體的檢視的方法，”魁北克拉瓦爾大學電氣和計算機工程副教授讓-弗朗索瓦·拉隆德說，他沒有參與這項新研究。“您從不同的方向觀察一個特定的物體。然後你想知道，如果您從您以前沒有看到的不同方向看到該物體，它會是什麼樣子。” 拉隆德解釋說，之前的研究使用兩種不同的技術解決了這個問題。最早的嘗試使用物體的幾何形狀以及物理定律來計算光線和顏色如何隨著視角的移動而變化。然後，“在過去的兩三年左右，我們看到了另一組方法，試圖提出一種不同的世界建模方式，”他說。最近的方法使用深度學習演算法來記憶物體的外觀，並預測其外觀在不同視角下會如何變化。
重建的環境（頂部）包括諸如這個人像之類的細節。圖片來源：鄭俊樸
這項新研究依賴於兩種技術型別的結合。拉隆德說，這樣做可以讓研究人員“利用物理推理的優勢，以及深度學習帶來的統計推理的力量”。“他們正在將更多的物理推理嵌入到[深度]學習過程中，這使他們能夠獲得更高質量的結果。”
樸和他的同事透過使用他們的新穎檢視合成方法來重建周圍環境的影像，從而對該方法進行了測試。他們使用攝像機拍攝了各種物品——前面提到的薯片袋，以及汽水罐、陶瓷碗甚至貓雕像——然後使用他們的模型重建了產生這些反射的環境。結果非常逼真。更可預測的是，鏡子般的物體產生了最準確的影像。“起初，我們非常驚訝，因為我們恢復的一些環境具有我們用肉眼看薯片袋無法真正識別的細節，”樸說。
他承認，這項技術有一個明顯的缺點：有可能將一張無害的照片變成侵犯隱私的行為。如果研究人員能夠根據反射完美地重建環境，那麼任何包含閃亮物體的影像都可能無意中洩露比攝影師預期的多得多的資訊。樸建議，隨著技術的進步，其開發者應該牢記這個問題，並積極努力防止侵犯隱私。
他還指出，然而，這些影像目前相對模糊。“我希望未來的工作將以我們的工作為基礎，以提高環境和場景重建的質量，”樸說。“我的長期目標是重建真實世界。這不僅包括良好的視覺化，還包括能夠與虛擬環境互動。”