最早的顯微鏡出現在16世紀和17世紀，它們將看起來完全透明的玻璃片轉變成了一個充滿細菌、細胞、花粉和複雜晶體的宇宙。這些具有遠見卓識的輔助工具是首批向人們展示血液中存在細胞的裝置。從那時起，顯微鏡為科學家們打開了其他隱形世界，深入細胞內部，甚至達到原子尺度。
我們相信，一種新型顯微鏡即將揭示另一個引人入勝的新世界：一個肉眼難以捕捉的運動和顏色變化的世界。血液在面部脈動會使面部時而變紅，時而變淺；風可以使建築起重機產生微小的搖晃；嬰兒的呼吸通常過於微弱而難以察覺。這些運動小得幾乎難以想象，但它們的重要性卻非常重大。它們可以揭示我們的健康狀況或即將發生故障的關鍵機器的振動。我們與學生和合作者一起，開發出了一種我們稱之為運動顯微鏡的工具，它將攝像機與專門的計算相結合。它們共同放大了在肉眼看來絕對靜止的人和物體中的運動。
計算顏色
我們的運動顯微鏡是在偶然情況下被發現的。我們一直在進行一個影片專案，旨在測量肉眼無法看到的微小顏色變化。麻省理工學院媒體實驗室的科學家 Ming-Zher Poh、Daniel McDuff 和 Rosalind W. Picard 在 2010 年展示了他們可以使用攝像機透過檢測血液在心臟跳動節奏中流向和流出面部所引起的微小顏色變化來測量脈搏。（他們已將該技術轉化為一款名為 Cardiio 的脈搏測量智慧手機應用程式。）我們認為這些計算很棘手，並且比它們需要的更復雜，涉及到高階線性代數。我們開始尋找一種更簡單的方法來執行該過程。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
主要的挑戰是血液流動引起的任何單個影片畫素中的顏色變化程度很低——在一個脈搏週期內僅變化 0.2%。不幸的是，相機感測器不會記錄精確值，並且總是包含隨機噪聲，通常高於 0.2%。這種噪聲大大掩蓋了紅色的變化。
在尋找更簡單途徑的過程中，我們與當時的在校學生郝宇武、麻省理工學院研究員 John Guttag 以及當時在 Quanta Research Cambridge 的 Eugene Shih 決定用附近所有畫素的平均值來代替表示每個畫素顏色的數字。這種方法顯著降低了噪聲，因為這些隨機波動往往會在足夠大的畫素組內相互抵消。我們還過濾掉了發生在比成人靜息脈搏典型範圍更長或更短的時間段內的顏色變化。
我們的簡單方法被證明成功地將畫素變化轉化為每分鐘的節拍數。但是這些顏色變化對我們來說是不可見的，我們想看看它們是什麼樣子。透過使用這些計算來計算影片中每個畫素在一段時間內的紅色變化，然後將其放大 100 倍，我們能夠清楚地看到一位成年男子的臉每次心跳時都會變得更紅。
這項技術也適用於嬰兒。在對新生兒進行的一項測試中，我們與當時在馬薩諸塞州溫徹斯特醫院的醫生 Donna Brezinski 和 Karen McAlmon 合作，使用普通數碼相機拍攝了一段影片。放大後，我們發現影片顯示的脈搏與連線在小手指上的傳統脈搏儀顯示的脈搏非常吻合。這一觀察結果提出了無需接觸即可測量脈搏的可能性，這對於脆弱的早產新生兒非常重要，因為觸控這些嬰兒可能會造成傷害。對於成年人來說，在未來，這些視覺化可能會幫助揭示血流中的異常情況，這些異常情況可能具有健康影響，例如身體左右兩側迴圈之間的不對稱性。
並非如此靜止的生活
然而，我們的影片給我們提出了一個難題。為了簡化顏色處理，我們要求鏡頭前的成年人保持非常靜止，並且他們在原始影片中頭部看起來確實一動不動。但是，當我們觀看放大顏色的結果時，我們注意到他們的頭部在移動。我們的技術似乎不僅增強了顏色變化，還增強了微小的運動。
在早期與其他同事合作的工作中，我們製作了放大微小運動的影片。但這涉及到專門的軟體，該軟體計算每個畫素在每個點的運動方向（向量），並將它們移動到新的位置。事實證明，這很複雜並且容易出錯。令我們驚訝的是，我們的新方法可以透過簡單的計算並且無需計算任何棘手的運動向量即可實現類似的效果。
為什麼更大的顏色變化也會放大這些微小的運動？為了找出答案，我們必須回顧影片中的運動是如何導致區域性顏色變化的。想象一下一個物體，比如一個球，它從右側被照亮，使球的右側明亮，左側黑暗。如果球從左向右飛過影片螢幕，則螢幕上一個固定位置的畫素會隨著時間的推移而變得越來越暗，因為它描繪的是球上越來越靠左的點。變化取決於球的移動速度以及球的左右兩側之間亮度過渡的清晰度，即所謂的顏色梯度。從數學上講，我們可以說畫素顏色隨時間的變化是物體速度乘以該顏色梯度的乘積。
當然，我們的演算法並不知道速度或顏色梯度。儘管如此，因為它放大了任何特定點的顏色變化，隨著球向右移動一英寸的一小部分，它也放大了球的這一小部分運動，以便您的眼睛可以看到。以類似的方式，代表嬰兒胸部特定點的畫素顏色會隨著嬰兒的呼吸而變化，使顏色變化更加明顯也會使胸部的微小運動更加明顯。
流體外觀
我們早期使用向量的工作與我們新的基於顏色隨時間變化的方法之間的差異在於視角。這就像是在順流而下與在急流中保持靜止之間的區別，而視角的這種變化使我們的新計算方法更易於操作。這個想法來自觀察流體並模擬其運動的科學家。有兩種對比鮮明的方法可以做到這一點：拉格朗日方法和尤拉方法。拉格朗日方法跟蹤給定部分的流體在空間中傳播的過程，就像在船上觀察者跟隨河流的流動一樣。相比之下，尤拉方法使用空間中的固定位置並研究流經它的流體，就像觀察者站在橋上一樣。
我們早期的工作遵循拉格朗日哲學，就像船上的觀察者一樣，其中畫素在輸入影片中被跟蹤，然後根據從點到點的放大向量移動——就像船移動一樣。相比之下，我們的新方法僅考慮固定位置的顏色變化，類似於停留在橋上的觀察者。這種區域性視角僅適用於微小運動，但使其更加簡單和穩健。計算機可以使用此技術快速處理影片，而我們早期的工作需要大量的計算機處理時間，並且經常包含錯誤。
2012 年，我們發表了一篇關於這種新方法的論文，名為尤拉影片放大。它展示了血流如何改變面部。它還包含各種其他示例，例如嬰兒的呼吸運動，可以對其進行放大，以便新生兒的父母可以檢視增強的影片訊號以檢視嬰兒是否在移動。我們還拍攝了一個吉他的高速影片，其中所有琴絃都在振動，並圍繞給定的音符選擇了窄頻帶，例如對於以 82 Hz 振動的低 E 弦，選擇了 72 至 92 赫茲。這放大了單個琴絃的運動，而其他琴絃看起來絕對靜止。
我們建立了一個網站，人們可以在其中上傳他們的影片並透過此運動放大過程執行它們。（請訪問 https://videoscope.qrilab.com 檢視影片顯微鏡。）人們以我們沒有想到的方式使用它，這令人興奮。有人釋出了一段影片，顯示了妊娠晚期胎兒的運動。另一個人放大了她的寵物豚鼠的呼吸運動。一位藝術專業的學生製作了一段影片，展示了她的朋友們試圖保持靜止時不易察覺的動作和表情。
然而，我們也瞭解到，我們的尤拉方法確實有侷限性。如果給定的輸入畫素從一幀到下一幀變得更暗，計算機將過度放大這種變化，產生一個完全黑色的畫素，有點像失控的放大效應。這種型別的問題可能會在運動區域周圍引起暗淡或明亮的光暈。來自感測器噪聲的輸入顏色變化也是一個挑戰，因為——即使我們透過平均許多區域性畫素來平滑它們——噪聲仍然會被放大。
這一結果促使我們和我們的研究生 Neal Wadhwa 開發出一種新的演算法，該演算法保留了簡單尤拉方法的優點，但在變化變得更加極端時提供了更好的檢視。
我們意識到，我們原始方法侷限性的根源在於一個錯誤的假設。它假設每個畫素與其所有相鄰畫素（左側、右側、上方、下方的畫素）之間的顏色差異是相同的，但不幸的是，情況並非總是如此。例如，邊緣對應於比周圍平滑區域更大的畫素差異（更高的梯度）。因此，如果您嘗試同時將所有畫素放大相同的量，您會得到無法顯示實際運動的失真。
我們沒有按相同的量放大，而是決定將影像的每個片段（區域性畫素組）在數學上表示為正弦波。正弦波有上升和下降，陡峭的斜率顯示快速變化，而頂部和底部顯示緩慢變化。在影片影像中，邊緣模仿快速變化的部分，而平滑區域看起來像緩慢變化的部分。我們可以將影像區域在一段時間內的變化表示為波的相位變化。從快速變化的相位移動到較慢變化的相位有助於我們表徵影片的兩幀之間發生了多少運動，並且它不會產生光暈等影片偽影。我們在 2013 年報告了這一進展。
微小運動，重大意義
在解決了這些缺陷之後，我們發現我們可以處理影片，以檢視以前只能透過方程或計算機模擬預測的無限小運動。例如，PVC 管圓形框架周圍的外殼是一個簡單的物體。當受到錘子或類似物體的撞擊時，外殼會以特定的模式彎曲和反彈，這些模式以不同的時間頻率振盪。快速上下振動的模式緊密地聚集在一起，而移動較慢的模式則更大，它們迫使外殼變成不同的形狀。這些模式出現在工程教科書中的方程式中，但看到管道中的實際變形很困難，因為變化太小了。
我們拍攝了管道被擊中的高速影片。在未經處理的影片中，圓形形狀的任何變化都幾乎不可見。然後，麻省理工學院 Oral Buyukozturk 的研究生 Justin Chen 與殼牌國際勘探與生產公司的科學家合作開展了一個專案，他透過我們的運動顯微鏡運行了該影片，告訴計算機提取出三個最低頻率的振盪模式。（這與我們用於視覺化人體脈搏的原理相同，即僅尋找對應於每分鐘心跳速率的畫素變化。）放大這些頻率顯示管道橫截面向內和向外彎曲，揭示了實際運動。
觀看酒杯在聲壓下破碎（以高頻振動）是另一個很好的例子，說明這種視覺化有多麼引人注目。我們都看過好萊塢電影，其中女高音唱出高音並震碎玻璃。但是我們誰也沒有見過玻璃的實際變形，因為它通常振幅太小且速度太快，通常在 300 到 500 赫茲左右。我們想即時展示玻璃的彎曲和伸出。
為了做到這一點，我們使用了 Harold Edgerton 的一個老技巧，他是頻閃燈、定格動畫攝影的先驅。他表明，當以短曝光記錄快速週期性運動以獲取每幀影像時，運動會在幀之間持續多個週期，並且看起來比實際生活中慢得多。我們使用普通攝像機拍攝玻璃影像的短脈衝。當我們透過我們的運動顯微鏡放大影片時，這種頻閃效果使我們能夠在眼前看到玻璃在聽到適當的音符時振動。
酒杯的結構性損壞可能會擾亂晚宴，但我們希望運動顯微鏡能夠揭示更嚴重的後果，例如大型且可能存在危險的機器開始發生故障。顯微鏡可以捕捉可能表徵機械故障的微小運動，並使其可見。我們在汽車正常怠速的高速影片中展示了這一原理。與管道一樣，原始影片絕對沒有顯示任何機械部件的運動。然後，我們過濾了影片，以專注於 22 赫茲的發動機振動，阻止所有其他頻率。將過濾後的變化放大 30 倍後，顯示發動機的不同部件正在來回晃動。這對於發動機來說並不是異常現象，但這表明運動顯微鏡除了放大微小變化直到它們看起來足夠大以至於可以看到之外，還可以挑選出可能異常的特定頻段。此類影片可以突出顯示和幫助診斷旋轉或振動機械中發生故障的機械部件。
我們使用了類似的方法來顯示在風中搖晃的巨型建築起重機。雖然對於觀察者來說顯得很堅固，但運動顯微鏡顯示起重機正在彎曲。這種起重機有一個正常的運動範圍。如果起重機超出該範圍，則可能預示著麻煩。我們正在與殼牌科學家 Dirk Smit 和 Sergio Kapusta 探索結構監測。
我們還可以逆向工程該過程。透過使用運動顯微鏡來突出顯示物體（例如植物的葉子）的微小振動，我們與 Wadhwa 以及麻省理工學院的 Abe Davis 和 Adobe Research 的 Gautham Mysore 一起，重建了導致它們搖晃的聲音型別。如果將這種方法應用於例如公共汽車終點站的混凝土坡道，則可能會識別出可能削弱結構的振動源。
運動顯微鏡也可用於揭示流體流動中的問題。當相鄰兩層空氣或水的平穩流動變成湍流混合時，不穩定的波浪會在兩層相遇的地方形成。當這種湍流在車輛（從汽車到飛機再到潛艇）周圍形成時，會對它們的移動速度產生巨大影響。因此，研究它們非常重要。這些波浪在未經處理的影片中是看不到的，但是當在我們的影片顯微鏡中將特定運動頻率放大 40 倍時，波浪不穩定性的跡象就會在觀看者眼前顯現出來。
使用該軟體來揭示看不見的東西感覺就像戴上了魔法眼鏡或突然獲得了超人的視力。然而，這既不是神奇的，也不是漫畫書創作者的夢想；它是對影片處理和影像數學表示進行基礎研究的結果。它已經向科學家們展示了我們從理性上了解但從未親眼見過的現象。它可能像幾個世紀前的第一臺光學顯微鏡一樣，幫助人們識別對健康和安全的威脅。現在，它讓我們感覺像是探險家，驚歎於一個全新的現象世界，這些現象一直存在於我們周圍，只是隱藏在眼皮底下。