人類 享受立體視覺 (a)。正如我們在上一期文章中提到的，由於我們的眼睛水平分隔，我們在兩隻眼睛中看到的影像略有不同，差異與相對深度成正比 (b)。大腦中的視覺區域測量這些差異，我們將結果體驗為立體感——我們所有人在小時候玩 View-Master 玩具時都享受過這種感覺。
從眼睛到大腦的視覺影像處理分階段進行。邊緣方向、運動方向、顏色等基本特徵在稱為 V1 和 V2 的區域中早期提取，然後到達視覺處理層次結構中的下一階段，進行逐步更精細的分析。這種分階段描述是一種漫畫式的說法；許多通路從一個階段“返回”到另一個階段——允許大腦玩一種“二十個問題”的遊戲，以便在連續迭代後得出解決方案。
回到立體的概念，我們可以問：兩隻眼睛影像的比較是在哪個階段進行的？如果您正在觀看具有數百個特徵的場景，您如何知道一隻眼睛中的哪個特徵與另一隻眼睛中的哪個特徵匹配？您如何避免錯誤匹配？在實現正確的匹配之前，您無法測量差異。在立體視覺中，這個難題被稱為對應問題。
支援科學新聞報道
如果您喜歡這篇文章，請考慮支援我們屢獲殊榮的新聞報道，方式是 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
關於邊界的問題
為了解決這個問題，19 世紀偉大的德國物理學家、眼科醫生和生理學家赫爾曼·馮·亥姆霍茲問道：比較是在非常早期進行的，在物體邊界被識別之前，還是大腦首先在每隻眼睛中分別提取輪廓，然後再進行比較？他得出結論，在沒有大量證據的情況下，每隻眼睛中輪廓的形式感知發生在雙眼比較之前。他說：“單眼形式感知先於立體視覺”，他認為，比較兩隻眼睛影像的任務非常複雜，並且發生在非常高的層次上。大腦透過首先識別形式，然後比較形式的延伸輪廓來解決對應問題。這種策略允許大腦避免（或最大限度地減少）錯誤匹配。
這個想法在近 100 年後受到了已故匈牙利科學家貝拉·朱爾斯（一位才華橫溢、毫不謙虛的人）的挑戰，他在貝爾實驗室工作。他使用了一種不同的立體圖 (c)，使用計算機生成的隨機點模式，而不是照片或線條圖。在左眼和右眼影像中，都沒有任何可識別的輪廓或形式——完全沒有。雖然這些是使用計算機制作的（如 d 中示意的那樣），但原理可以透過使用數碼相機和隨機點影像來理解。從大約五平方釐米大小的隨機點模式開始。使用剪刀從另一個隨機點模式（稱之為 S，代表正方形）中剪出一個一平方釐米的補丁。將此正方形居中放置在第一個圖案的頂部，並拍照以生成左眼影像 (L)。如果 S 正確定位，它會因為背景點的偽裝而幾乎不可見。現在，將 S 水平向右稍微移動（確保定位它，以便從小方塊中看不到重疊點的邊界）。再拍一張照片以製作右眼影像 R。
朱爾斯將他的隨機點立體圖中的一張影像呈現給每隻眼睛，並驚訝地看到一個小正方形如此生動地漂浮出來，以至於他幾乎想抓住它，即使在任何一隻眼睛中都看不到正方形。最初的實驗是用數字生成的畫素而不是紙片進行的，並且偏移也是完全數字化的。因此，並非好像每個眼睛的影像中都 隱藏 著一個正方形；從數學上講，它甚至不存在於任何一隻眼睛中。它完全由差異——S 的水平偏移（由 d 中的 X 和 Y 列顯示）定義。朱爾斯得出結論，馮·亥姆霍茲是錯誤的。由於正方形僅作為立體融合的結果而出現，因此立體匹配必須是位點到點（或畫素到畫素）的位移測量，並且正方形的輪廓完全來自這種比較。立體先於形式的檢測（“形式”在本上下文中與延伸輪廓和邊界互換使用）。
朱爾斯的演示啟發了一位年輕的醫學生傑克·佩蒂格魯（當時在加州大學伯克利分校），去研究雙眼神經細胞在雙眼處理的早期階段的生理學。在此之前，立體視覺的問題似乎難以解決，因為如果馮·亥姆霍茲是對的，研究人員就必須首先解決形式感知的生理學——關於這一點，沒有人知道如何進行。然而，佩蒂格魯發現他的預感是正確的——這些細胞正在提取水平偏移併發出立體的訊號（正如我們在之前的專欄中討論的那樣）。
這是一個簡單的故事，但當一位來自印度的學生（拉馬錢德蘭）發現，在某些情況下，形式感知先於立體視覺時，情況變得更加複雜，這表明大腦視覺中心的靈活性。他建立了一個立體圖，其中每隻眼睛都有一個紋理定義的正方形。然後，他移動了整個正方形，而不是移動定義紋理的點 (e)。
他有兩個隨機點模式，每隻眼睛一個。但這一次，每隻眼睛都可以單獨看到一個正方形——這與朱爾斯模式不同。它仍然由隨機點組成，但由於紋理的差異，每隻眼睛都可以單獨看到一個正方形。構成左眼影像（包括 S）的點在兩隻眼睛中完全不同；與朱爾斯的圖片不同，它們是不相關的。這個立體圖與朱爾斯的相反——每隻眼睛都可以看到一個正方形，但構成它的點（及其背景）在兩隻眼睛中是不相關的。
拉馬錢德蘭發現，當他透過立體鏡觀看此影像時，中心正方形漂浮出來。由於定義正方形的點在兩隻眼睛中是不相關的，他和他的同事得出結論，在這種情況下，形式感知發生在立體視覺之前。在測量跨眼睛的偏移之前，每隻眼睛都分別識別出正方形。朱爾斯規則可以被違反。大腦經常使用多種技巧來實現相同的目標。在嘈雜的偽裝環境中，同時使用兩種策略是有意義的。
他發明的第二個顯示器也說明了相同的觀點。它利用了一種奇特的視覺效果，稱為錯覺輪廓 (f)。四個“吃豆人”由四個黑色圓盤製成，每個圓盤都切出了餡餅形的楔形。然而，你看到的不是彼此面對的吃豆人；你看到的是一個不透明的錯覺白色正方形遮擋了背景中的四個黑色圓盤。大腦實際上在說：“一個邪惡的科學家精確對齊這些圓盤的可能性有多大？更可能是個不透明的正方形，所以我將看到它。” 你幻覺出邊緣，稱為影像分割。
現在，這些錯覺邊緣可以為立體視覺提供輸入嗎？從 f 中的左眼圖片開始，並將錯覺正方形向左移動以建立右眼圖片。（這種移動需要從餡餅中咬下更大的塊。）當您透過觀察器觀看影像時——瞧——錯覺正方形漂浮出來了！同樣，形式處理和影像分割發生在立體視覺之前。
情況變得更好了。讓我們取這個立體圖的模板，並將其貼上到由點列組成的重複桌布上 (g)。兩隻眼睛中的點是相同的；它們不傳達任何視差資訊。然而，令人驚訝的是，錯覺正方形內部的點也隨之漂浮出來——我們稱之為立體捕捉的錯覺；這些點被錯覺正方形捕獲並向前拖動，即使它們本身沒有移動。
這個結果表明，朱爾斯的說法並非完全正確：立體視覺不僅僅涉及比較兩隻眼睛之間的畫素。即使您考慮佩蒂格魯的視差細胞，它們也必須提取微小的定向簇（而不是點）並“尋找”相同的簇進行匹配。但是拉馬錢德蘭的實驗（以及來自紐約大學心理學家勞埃德·考夫曼的非常相似的結果）表明，該機制甚至比這更復雜；它可以根據隱含的遮擋分割影像，並“幻覺出”錯覺輪廓，這些輪廓可以作為立體匹配的標記。一旦提取了此資訊並測量了視差，大腦就會構建一個 3D 錯覺表面。封閉的點被向前拖動這一事實意味著 3D 表面反饋以應用於這些點。
因此，我們可以得出結論，馮·亥姆霍茲、朱爾斯、佩蒂格魯和拉馬錢德蘭都是正確的；立體的視覺處理比我們想象的要複雜得多。我們對這些相互作用背後的生理機制一無所知。訊號視差的細胞位於 V1 中（如佩蒂格魯所示），但從隱含遮擋中提取錯覺輪廓的細胞位於 V2 區域，即下一個階段，正如約翰·霍普金斯大學的魯迪格·馮·德·海特所證明的那樣。這些發現暗示，來自 V2 的資訊必須反饋到 V1，以調節較小特徵的處理。這個想法尚未經過檢驗。
注意：本文最初印刷時的標題為“雙眼，雙重視角”。