現在是週六晚上，州博覽會上熱鬧非凡。在你的左邊，帳篷裡傳出歌曲《晝夜搖滾》。你的身後，一群青少年正在喧鬧地嬉笑。不知何處，一個嬰兒在啼哭。五彩繽紛的霓虹燈和閃爍的燈光爭奪著你的注意力。過山車驟然下降，又急轉彎。你的感官已經超載了。但是，如果沒有手裡的冰淇淋甜筒，以及空氣中瀰漫的棉花糖和蜜烤杏仁的香味，這種體驗就不算完整。
像這樣熱鬧的集市場景，恰恰說明了有多少訊號同時從環境中湧向我們。然而，我們的大腦能夠整合所有的刺激，並理解這嘈雜的運動和聲音。這種整合究竟是如何發生的，目前尚不清楚——這自然激起了神經科學家的好奇心。
然而，州博覽會上典型的豐富刺激並不利於研究大腦對五種感官的融合：一個被稱為感覺整合的過程。研究人員往往對大腦“欺騙”自己，從而對其周圍環境產生錯誤印象的情況感興趣。例如，在腹語術中，即使聲音不是來自腹語表演者膝上鬆弛下巴的木偶，觀眾也會暫停懷疑。同樣，銀幕上的角色實際上並沒有說話；他們的話語是從分佈在劇院周圍的揚聲器發出的。但是，當大腦觀察到嘴唇與詞語同步移動時，它就會相信這些嘴唇是所聽到聲音的實際來源的錯覺。換句話說，我們的聽覺和視覺印象協同工作，創造了我們對周圍環境的感知。
支援科學新聞事業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞事業 訂閱。透過購買訂閱，您將有助於確保關於塑造我們當今世界的發現和思想的具有影響力的故事的未來。
但是，我們不僅有時會誤解感覺印象的來源，有時還會將其感知為完全不同的東西。例如，20世紀70年代中期，英國薩里大學的心理學家哈里·麥格克和約翰·麥克唐納發現了一個有趣的現象。他們向志願者播放了一部影片，影片中一位說話者發出了音節“ga”，但他們在該音節上疊加了聲音“ba”。測試物件報告說，他們既沒有聽到這兩個聲音中的任何一個；相反，他們聽到了音節“da”。視覺和聽覺資訊結合起來，創造了第三種全新的聲音，這個過程現在被稱為麥格克效應。我們的聽覺和觸覺也可以產生虛幻的聯盟。當我們摩擦手掌時，我們可以透過感知我們感覺到的溼度以及皮膚髮出的聲音來判斷它們有多溼。如果我們聽到強烈的沙沙聲，我們的皮膚會感覺乾燥——這種聲音越微弱或音調越高，我們的手掌就會感覺越溼。
這些錯覺表明，我們的大腦不斷地結合來自各種感覺器官的資訊，以“起草”一個或多或少正確的周圍環境影像。感知研究人員提出的問題是：我們各種感官在大腦中的何處以及如何融合？
有兩種基本機制是可能的。要麼感官獨立運作，我們的大腦在處理的最後階段將它們的輸入組合成一個連貫的整體，要麼感官從一開始就協同工作，在非常早期的階段相互補充和影響。
考慮一下鄰居家院子裡狗叫的場景。在第一個模型中，大腦的每個感覺系統首先單獨分析其特定的刺激，並生成其自身完整的環境“影像”。例如，我們的視覺器官建立了一隻金毛尋回犬在白色柵欄後面吠叫的影像，而我們的聽覺系統同時記錄了吠叫聲和駛過汽車的聲音。然後，大腦整合感覺印象以完成場景：一隻吠叫的狗在街道附近的院子裡。
在第二個模型中，視覺系統可能首先在綠色區域內檢測到給定大小的金棕色表面。與此同時，聽覺系統從該表面的方向拾取有節奏的重複聲音。然後，當聽覺系統感知到聲音時，視覺系統會記錄到表面發生變化。各種感官在幾分之一秒內相互補充，直到出現吠叫的金毛尋回犬的整體印象。在這種機制中，感覺整合發生在處理的非常早期的階段。
這兩種情景是感覺整合可能機制譜的極端。在這兩種變體之間，無數箇中間階段是可能的。據推測，大腦實際採用的路徑介於兩者之間。問題是，在哪裡？
整合的影像
心理學家在20世紀50年代首次開始研究感官之間的相互作用，透過檢查不同的感官組合如何影響我們對周圍世界的感知。他們量化了諸如上面提到的麥格克效應和腹語術效應等錯覺，腹語術效應最早由多倫多約克大學的研究人員伊恩·P·霍華德和W·B·坦普爾頓在1966年描述。即使在今天，心理學研究仍在繼續探索感知錯覺，以找出我們的大腦如何組合感覺資訊的不同方面，以及這如何提高我們在依賴多感官資訊的任務中的表現。
大約在20世紀70年代，當心理學家從感知的角度研究感覺整合時，來自神經生理學等更經典的生物學領域的科學家開始研究大腦如何組合感覺資訊的神經元基礎。但是，儘管許多研究人員研究了與特定感官相關的神經元，例如視覺或聽覺通路中的神經元，但只有少數人研究了多感官特性。只是在最近，部分得益於腦成像技術的進步，人們才開始意識到我們不同的感官並沒有像以前認為的那樣離散地運作。
功能性磁共振成像（fMRI）等技術利用了以下事實：當大腦的某個區域特別努力工作時，它比相鄰區域需要更多的氧氣，因此血液灌注也更多。富氧血紅蛋白分子在強磁場中的行為與不含氧的分子不同，因此fMRI掃描器可以檢測血流，從而生成工作大腦的影像。
現在再次考慮鄰居家吠叫的狗：fMRI掃描應該能夠檢測到感覺整合的兩種模型之間的差異。如果第一個模型是正確的，並且感覺資訊由各個系統分別分析，然後在最後組合，那麼大腦的許多不同區域應該會被啟用，並且每個區域都應該專門處理單一感官。另一方面，如果資訊在早期組合，那麼只有少數高度專業化的區域應該就足夠了。
在過去的幾年裡，一系列成像研究揭示了一個複雜的大腦區域網路，當各種感覺資料融合時，這些區域的啟用最強烈。長期以來，人們都知道大腦皮層頂葉和額葉中所謂的聯合區域會處理透過各種感覺通道傳入的資訊流。然而，迄今為止一直被認為僅負責一種感官的區域最近已被證明具有更廣泛的才能。正如倫敦大學學院的喬恩·德賴弗在2000年描述的那樣，當測試物件的手指也感知到觸覺刺激時，剛剛看到右手或左手附近短暫閃光的測試物件的視覺皮層活動會增加。然而，只有當視覺和觸覺刺激同時且在身體的同一側發生時，這種大腦活動才會增加。
心理學家早就知道這種“多模式強化”現象。例如，當閃爍的光點強度降低時，人們更難看到它。然而，如果我們在閃爍的同時聽到短暫的聲音爆發，我們甚至會感知到最微弱的光芒。但是，這種效果只有在光和聲音精確同步時才有效。
語言的感知尤其有趣。正如麥格克效應所證明的那樣，口語不僅透過聲音傳遞。嘴唇的運動也傳遞重要的資訊。2001年，現在在英國巴斯大學的心理學家傑瑪·卡爾弗特觀察到，當同時感知到聲音和視覺刺激時，語音感知會增加聽覺和視覺系統的活動。換句話說，移動嘴唇的影像會及早影響聲學訊號的處理。聽覺和視覺之間的這種協同作用發生在以前被認為是獨立感覺區域的大腦區域。
即使是人說話的無聲影像也足以可測量地刺激聽覺皮層，包括當說話者在說胡話時。另一方面，做鬼臉卻讓聽覺皮層毫無反應。這種現象清楚地表明，聽覺皮層專門對語音的視覺影像做出反應，聲學和視覺刺激的感覺整合促進了語音處理。
大腦中的融合
因此，假定早期感覺融合的第二個模型似乎更準確。我的團隊在德國蒂賓根馬克斯·普朗克生物控制論研究所的研究也指向這個方向。2005年，我們對恆河猴（Macaca mulatta）聽覺皮層的各個區域進行了高解析度磁共振測量。聽覺皮層包含各種亞單位[參見對面頁面的方框]。初級聽覺皮層透過丘腦中的介質接收由內耳中的聲波產生的電脈衝。然後，這些脈衝傳播到更高的聽覺區域，這些區域像一條只有幾毫米厚的帶子一樣環繞著初級聽覺皮層。
當我們透過耳機向動物播放沙沙聲，並用刷子刺激它們的手掌或腳底時，我們測量了聽覺皮層中增加的活動。當我們同時進行這兩項操作時，特別是次級聽覺皮層的後部末端受到了刺激。今年早些時候，我們在一項新的研究中看到了類似的結果，我們在該研究中使用視覺刺激代替觸覺刺激。我們再次發現，只有聽覺皮層的後半部分受到了刺激。感覺整合似乎發生在這裡。
我們尚不清楚為什麼感覺資訊會在這些特定的大腦區域融合。但似乎聽覺皮層的後部專門用於記錄空間資訊——即，識別聲音的方向性。也許發生在這裡的感覺融合有助於將各種感覺印象與空間中的特定來源聯絡起來。
今年1月，神經科學家查爾斯·施羅德和他在紐約州奧蘭治堡內森·S·克萊恩精神病研究所的同事進行的一項開創性研究揭示了一種機制，非聽覺刺激透過該機制增強了聽覺皮層的活動。研究人員發現，雖然單獨的觸覺刺激不會引起聽覺神經元放電，但它會操縱神經元中潛在的振盪模式，使其具有最大的放電潛力。這樣，如果聽覺皮層同時接收到聽覺和觸覺刺激，其神經元的放電強度將比單獨接收到聽覺刺激時更強。這一新的見解有助於解釋為什麼接收來自兩個不同感覺器官的資訊會導致兩個處理中心都更強烈地啟用，並且它可能指向感覺整合的神經元基礎。
雖然我們仍在努力全面瞭解大腦如何處理感覺資訊，但有一點似乎是肯定的：感覺整合發生在高階區域，並且發生在過程的早期，儘管沒有理論上假設的那麼早。假設感覺印象單獨處理的第一個模型根本是錯誤的。假設感官在最早可能時刻融合的第二個模型被誇大了，但更符合現實。顯然，大腦的許多區域都參與了組合來自不同感官的資訊，並且與先前認為的相比，大腦中專門用於每種單獨感官的部分要小得多。