本文是“數字取證：專家如何揭露篡改的影像”專題的補充報道，該專題刊登於《大眾科學》2008 年 6 月刊。
光照
由不同照片的片段組成的合成影像可能會顯示出，最初拍攝每個人或物體時，光照條件存在細微差異。這些差異通常不會被肉眼注意到。
對於右側的影像，我的團隊可以估計每個人或物體的光源方向（箭頭）。我們的方法基於一個簡單的事實：照射到表面上的光量取決於表面與光源的相對方向。例如，一個球體，其朝向光源的一側光照最強，而另一側光照最弱，其表面上的陰影會根據表面與光線方向之間的角度而發生漸變。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您將有助於確保未來可以繼續報道關於塑造我們當今世界的發現和想法的有影響力的故事。
要推斷光源方向，您必須瞭解表面的區域性方向。在影像中，物體上的大多數位置都很難確定方向。唯一的例外是在表面輪廓線上，該處的方向垂直於輪廓線（右側紅色箭頭）。透過測量輪廓線上幾個點的亮度和方向，我們的演算法可以估計光源方向。
對於上面的影像，警察的光源方向與鴨子的光源方向不匹配（箭頭）。我們必須分析其他物體才能確定是鴨子被新增進來的。
眼睛和位置 因為眼睛的形狀非常一致，所以它們可以用來評估照片是否被修改過。
人的虹膜實際上是圓形的，但是當眼睛轉向側面或向上或向下時，虹膜會呈現越來越橢圓的形狀（a）。可以透過追蹤從眼睛到稱為相機中心的點的光線來近似照片中眼睛的樣子（b）。影像在光線穿過影像平面的位置形成（藍色）。相機的中心點——影像平面和相機指向的光線的交點——將接近照片的中心。
我的團隊使用照片中人的兩個虹膜的形狀來推斷他或她的眼睛相對於相機的方向，從而推斷出相機中心點的位置（c）。中心點遠離中心或人們具有不一致的中心點是篡改的證據（d）。該演算法也適用於其他形狀已知的物體，例如汽車上的兩個輪子。
然而，該技術是有限的，因為分析依賴於精確測量人兩個虹膜的略微不同的形狀。我的合作者和我發現我們可以可靠地估計較大的相機差異，例如當一個人從影像的一側移動到中間時。如果一個人移動的距離小於這個距離，則很難判斷。
鏡面高光 周圍的光線會在眼睛中反射，形成稱為鏡面高光的小白點。這些高光的形狀、顏色和位置可以告訴我們很多關於光照的資訊。
2006 年，一點陣圖片編輯聯絡我，諮詢一張計劃在他雜誌上發表的美國偶像明星的照片（上圖）。鏡面高光非常不同（插圖）。
高光位置表明光源所在的位置（左上圖）。當光源的方向（黃色箭頭）從左向右移動時，鏡面高光也會隨之移動。
美國偶像照片中的高光非常不一致，僅憑目視檢查就足以推斷出該照片已被修改。但是，許多情況需要進行數學分析。要精確確定光源位置，需要考慮眼睛的形狀以及眼睛、相機和光線之間的相對方向。方向很重要，因為眼睛不是完美的球體：虹膜的透明覆蓋物或角膜會突出，我們在軟體中將其建模為一個球體，該球體的中心偏離眼睛的白色部分或鞏膜的中心（右上圖）。
我們的演算法根據影像中虹膜的形狀計算出人的眼睛的方向。有了這些資訊和鏡面高光的位置，該程式就可以估計出光源的方向。美國偶像演員陣容的影像（上圖；綠色球體上的紅色點表示方向）很可能由至少三張照片組成。
傳送克隆 克隆——複製和貼上影像的區域——是一種非常常見且強大的操作形式。
這張圖片來自喬治·W·布什 2004 年底的競選連任電視廣告。透過對所有可能的重複區域逐畫素進行暴力計算機搜尋來查詢克隆區域是不切實際的，因為它們可以是任何形狀並位於影像中的任何位置。要進行的比較次數是天文數字，並且無數微小的區域僅憑偶然就會相同（“誤報”）。我的團隊開發了一種更有效的技術，該技術可處理小畫素塊，通常約為六乘六畫素的正方形（插圖）。
對於影像中的每個六乘六畫素塊，該演算法都會計算出一個量，該量表徵該塊中 36 個畫素的顏色。然後，它使用該量來對序列中的所有塊進行排序，從而使相同和非常相似的塊彼此靠近。最後，程式會尋找相同的塊，並嘗試從它們逐塊“增長”更大的相同區域。透過處理塊，該演算法大大減少了必須檢查和丟棄的誤報數量。
當將該演算法應用於政治廣告中的影像時，它會檢測到三個相同的區域（紅色、藍色和綠色）。
相機指紋 數字修飾很少留下視覺痕跡。因為修飾可以採用多種形式，所以我希望開發一種可以檢測影像的任何修改的演算法。我的團隊提出的技術取決於幾乎所有數碼相機的工作方式的特性。
相機的數字感測器以畫素的矩形網格排列，但是由於位於數字感測器網格頂部的彩色濾光片陣列 (CFA)，每個畫素僅能檢測到一種顏色附近波長帶內的光強度。最常用的 CFA（拜耳陣列）的紅色、綠色和藍色濾光片排列如下所示。
因此，原始資料中的每個畫素僅具有指定標準數字影像畫素所需的三種顏色通道中的一種。丟失的資料透過從附近的畫素進行插值來填充，這種程式稱為去馬賽克，可以透過相機本身的處理器或解釋相機原始資料的軟體來完成。最簡單的方法是取相鄰值的平均值，但是也使用更復雜的演算法來實現更好的結果。無論應用哪種去馬賽克演算法，最終數字影像中的畫素都將與其鄰居相關。如果影像不具有聲稱用於拍攝照片的相機的正確畫素相關性，則該影像已被以某種方式修飾。
我團隊的演算法會在數字影像中查詢這些週期性相關性，並可以檢測到它們之間的偏差。如果小區域中不存在相關性，則很可能在該處進行了一些區域性更改。如果進行了影像範圍的更改（例如調整大小或嚴重的 JPEG 壓縮），則可能完全不存在相關性。此技術可以檢測到所做的更改，例如路透社在 2005 年釋出的聯合國安理會會議的影像中進行的更改（上圖）：調整了記事本的對比度以提高其可讀性。
該技術的缺點是，它只能有效地應用於聲稱是原始的數字影像；例如，列印輸出的掃描將具有掃描器施加的新相關性。