拉開帷幕:千兆畫素相機創造高畫質晰快照 [幻燈片]

研究人員正在開發能夠拍攝由超過十億畫素組成的數字快照的相機


關於支援科學新聞報道

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道: 訂閱。透過購買訂閱,您將幫助確保未來能夠繼續報道關於塑造我們當今世界的發現和想法的具有影響力的故事。


技術的進步往往會寵壞我們。僅僅幾年前的個人電腦與今天的智慧手機相比簡直不值一提,而且,曾經百萬畫素影像是數字攝影的尖端技術,而千兆畫素影像(由至少十億畫素或影像元素組成)開始在網路上以生動的細節呈現。

千兆畫素影像也為執法部門和軍方提供了巨大的潛力,可以提供詳細的偵察和監視資訊。如今,衛星或無人駕駛飛行器(無人機)拍攝的遠端影像可以捕捉到車牌號碼的細節,同時飛行高度過高,地面無法發現這些無人機。但國防高階研究計劃局 (DARPA) 的顧問、弗吉尼亞州麥克萊恩 MITRE 公司的高階首席科學家 拉維·阿塔萊 表示,這些影像只能提供狹窄的視野。他將無人機影像比作透過“吸管”觀看戰場或城市,將衛星影像比作注射針。

“我們不再處理固定裝置或陸軍坦克部隊或導彈發射井部隊,”阿塔萊說。“[打擊恐怖主義需要] 瞭解在中等城市大小的廣闊區域內正在發生的事情。”

透過其“用於影像重建和利用的先進廣域視場架構”計劃,DARPA 過去一年一直在研究開發一種可以在單次快照中拍攝千兆畫素質量影像的相機的方法。這種方法是新穎的,因為今天的千兆畫素影像實際上是由幾個百萬畫素大小的影像數字拼接在一起組成的,以便在大面積範圍內提供高水平的細節。這通常使用置於電動支架頂部的長焦數字單反(SLR)相機來完成。軟體控制相機的移動,相機捕獲數百甚至數千張影像的馬賽克,這些影像放在一起時,會建立一個單一的高解析度場景,即使觀看者放大特定區域,也能保持其清晰度。DARPA 計劃在其計劃中投資 2500 萬美元,為期三年半,其中包括一個名為“利用計算進行最大程度可擴充套件的光學感測器陣列成像”(MOSAIC)的元件。

單次快照千兆畫素數字攝影方法有其缺點。裝置笨重、昂貴且複雜。此外,由於自動化相機可能需要幾分鐘甚至幾個小時才能拍攝建立更大馬賽克所需的所有單個影像,因此光照條件可能會發生變化,物體(汽車、人、飛機等)可能會進入和離開畫面。並且拼接單個影像需要軟體來匹配重疊點——任何錯誤都必須手動糾正。

此類影像還需要特殊的檢視軟體,這些軟體可以在 谷歌地球360world.euGigapan.org(由匹茲堡的卡內基梅隆大學、NASA 和谷歌建立)和其他允許千兆畫素數字照片上傳、檢視和在網路上共享的網站上找到。

千兆畫素影像也不利於緊湊型、廉價型相機捕獲。今天相機中使用的數字處理器和記憶體不足以管理千兆畫素影像,千兆畫素影像包含的資訊量是百萬畫素影像的 1000 多倍。(一個 10 千兆畫素的影像將佔用 超過 30 GB 的硬碟空間。)雖然畫素通常用於指代影像解析度,但這種屬性實際上只能透過考慮影像的整體尺寸以及每英寸或每釐米的畫素數來衡量。例如,一張 20.3 釐米 x 25.4 釐米、每釐米 60 畫素的影像 一張 10.2 釐米 x 12.7 釐米、每釐米 120 畫素的影像具有相同的解析度。

計算攝影
紐約哥倫比亞大學的研究團隊在計算機科學教授 什裡·納亞爾 的領導下,認為如果他們能夠降低此類影像的複雜性,單次快照千兆畫素相機是可能的。“與其將其視為捕獲最終影像,不如將其視為捕獲計算最終影像所需的資訊,”納亞爾說。

在一篇即將發表的論文中,哥倫比亞大學的研究人員在匹茲堡舉行的 4 月 IEEE 國際計算攝影會議 (ICCP) 上提出了三種相對緊湊的相機設計(其中兩種他們實際上已經構建了原型)用於單次拍攝千兆畫素成像——每種設計都依賴於球形透鏡和一個或多個數字感測器。哥倫比亞大學計算機科學博士候選人奧利弗·科賽爾特說,這種透鏡是最簡單的透鏡之一,因為它具有完美的對稱性(導致更少的像差),並且由一個元件而不是必須配置為協同工作的多個透鏡組成,他與納亞爾一起工作。

納亞爾、科賽爾特及其在計算機視覺實驗室(哥倫比亞工程學院計算機科學系的一部分)的團隊建立的第一臺相機是單元件、單中心相機,它使用平移/傾斜電機順序掃描單個感測器,以模擬平鋪感測器陣列。第二臺相機是一個實際使用並排排列的五個感測器陣列的系統,該系統產生連續的視場 (FOV)。在第二個系統中,每個感測器周圍的封裝在它們之間留出了一些空間。為了解決這個問題,研究人員在球形透鏡和感測器之間添加了五個輔助中繼透鏡。這種配置使每個感測器的 FOV 略微重疊,從而確保資料中沒有可能扭曲最終影像的間隙。

第三種設計將輔助中繼透鏡直接連線到球形透鏡的一半(使其看起來凹凸不平而不是光滑),並在透鏡的這一半周圍包含大量小型感測器。這些感測器可以連線到略大於透鏡本身的球形半殼的內側。然後,球形透鏡將放置在半殼內部,以便每個感測器都與中繼透鏡耦合。透鏡光滑部分看到的任何影像都將由半殼內部的感測器捕獲。

納亞爾說:“我們想表明,使用當今相機的外形尺寸、重量和成本,有一條通往千兆畫素相機、影片或靜態影像的道路。” “過去人們認為,如果不構建非常複雜的系統,就無法做到這一點。我們想說的是,透過使用計算和簡單的系統,你可以做到這一點。”

阿塔萊承認納亞爾、科賽爾特及其團隊正在進行的工作的潛力,他說:“計算攝影對於提供‘持久的廣域監視’至關重要。”

其他單次快照方法
微軟亞洲研究院是少數幾個嘗試單次快照千兆畫素成像的其他研究小組之一。自 2007 年以來,那裡的研究人員一直在開發一種名為 dgCam 的原型,其高功率手風琴式透鏡配置使該裝置看起來像一臺老式大畫幅相機。dgCam 可以拍攝 1.6 千兆畫素的影像,預計不會進行商業銷售,它還使用比哥倫比亞大學原型中使用的感測器大得多的感測器。dgCam 並非旨在成為一款緊湊型相機,而是旨在幫助博物館存檔、管理和研究古代繪畫和圖紙。

微軟亞洲研究院視覺計算組的研究員、dgCam 的設計者和建造者 摩西·本-埃茲拉 說,大畫幅相機——早期需要使用大型感光板和膠片,現在依賴於比哥倫比亞大學研究人員使用的感測器大得多的感測器——非常適合拍攝小型物體的詳細照片。他說:“透鏡在影像捕獲過程中不會移動,這對於任何不完全平坦的物體的檔案質量成像至關重要。” dgCam 掃描影像,並且與哥倫比亞大學的專案一樣,使用計算演算法來捕獲有關這些影像的資訊。

另一種拍攝千兆畫素快照的大畫幅方法是 Gigapixl 專案,物理學家格雷厄姆·弗林特大約在十年前創立了這個專案。Gigapixl 的相機使用 23 釐米 x 46 釐米的膠片——與 U-2 等軍用間諜飛機中使用的膠片相同,用於捕捉影像——然後將膠片掃描並數字化,以建立高達 4 千兆畫素大小的影像。

千兆畫素數字影像技術仍處於起步階段,但隨著技術的發展,對其需求將迅速增長。 Securitas Security Services 的安全顧問,同時也是網站 gigapixel360.com 的運營者克里斯托弗·希爾斯說:“1999 年,百萬畫素相機還是一個夢想。” 現在高階數碼相機可以拍攝 2500 萬畫素的影像。“我絕對相信這將是監控和影片發展的下一個重大步驟,”他補充道。“世界將始終朝著更大、更快、更便宜的圖片和影片方向發展。”

幻燈片:哥倫比亞大學研究人員的原型和概念千兆畫素相機

© .