在 20 世紀 70 年代末，聯邦調查局聘請了蘇·托馬斯以及其他八名失聰人士來分析指紋模式。該機構認為，失聰人士可能更容易在出了名的細緻任務中保持專注。然而，從第一天起，托馬斯就發現這份工作單調得難以忍受。她經常向上級抱怨，以至於當她的老闆召集她與辦公室的其他特工開會時，她都準備好失業走人了。
但托馬斯並沒有被解僱——從某種意義上說，她被晉升了。特工們給她看了一段兩名犯罪嫌疑人交談的無聲影片，並要求她破譯他們的對話。
在他們自己與托馬斯的互動中，特工們注意到她多麼巧妙地閱讀他們的嘴唇。正如她的同事預料的那樣，托馬斯輕鬆地解讀了嫌疑人的對話，這使他們牽涉到一個非法賭博團伙。托馬斯作為聯邦調查局第一位失聰唇語專家的職業生涯由此開始。
支援科學新聞業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們今天世界的發現和想法的具有影響力的故事的未來。
一生依賴唇語進行交流磨練了托馬斯的技術，但我們所有人對這種天賦的依賴程度都超出了我們的認知。事實上，如果我們看不到說話者的嘴唇，尤其是在嘈雜的環境中或當說話者帶有我們不熟悉的濃重口音時，我們理解言語的能力就會降低。用眼睛和耳朵學習感知言語是典型言語發展的重要組成部分；因此，失明嬰兒——他們看不到周圍說話者的嘴巴——通常比平均水平花費更長的時間來學習言語的某些方面。我們簡直無法抗拒將我們從別人的嘴唇上看到的詞語與我們聽到的詞語整合起來。近年來，對多感官言語感知的研究幫助帶來了我們對大腦如何組織從我們許多不同感官接收到的資訊的理解的革命。
神經科學家和心理學家在很大程度上放棄了早期將大腦視為瑞士軍刀的觀點，在瑞士軍刀中，許多不同的區域專門用於不同的感官。相反，科學家們現在認為，大腦已經進化到鼓勵感官之間儘可能多的串擾——大腦的感官區域在物理上是相互交織的。
我們的感官總是互相竊聽，互相干涉。例如，雖然視覺皮層主要關注視覺，但它也完全有能力解釋其他感官資訊。在被蒙上眼睛 90 分鐘內，視力正常的人透過視覺皮層變得對觸覺格外敏感；同樣，腦部掃描顯示，盲人的視覺皮層會重新佈線以適應聽覺。當我們吃薯片時，我們咀嚼的脆度部分決定了我們認為薯片有多好吃——研究人員可以透過調整人們聽到的聲音來偏倚味覺測試的結果。當我們靜止站立時，我們看的地方以及我們看到的東西會影響我們整個身體的姿勢。簡而言之，過去 15 年的研究表明，沒有一種感官是單獨工作的。多感官革命也為改進盲人和聾人的裝置（如人工耳蝸）提供了新方法。
無聲音節
多感官感知最早且最可靠的例子之一是麥格克效應，哈里·麥格克和約翰·麥克唐納在 1976 年首次報道了這一效應。如果您觀看一段影片剪輯，其中有人無聲地重複口型發出音節“ga”，同時您聽到同一個人說出音節“ba”的錄音，您會聽到他們發音為“da”。無聲的“ga”音節改變了您對可聽見的“ba”音節的感知，因為大腦整合了身體聽到和看到的東西。麥格克效應在所有語言中都有效，即使您已經研究它 25 年，它仍然有效——我可以親自證明這一點。
您聽到的言語也受到您感覺到的言語的影響。 1991 年，當時在達特茅斯學院的卡羅爾·福勒和她的同事要求天真的志願者嘗試一種名為 Tadoma 技術的技巧，您可以透過將手指放在對方的嘴唇、臉頰和脖子上來解讀對方的言語。在人工耳蝸出現之前，許多聾盲人士（包括海倫·凱勒）都依賴 Tadoma。志願者感覺到的音節改變了他們解讀來自附近揚聲器的音節的方式。
1997 年，當時在牛津大學的 Gemma Calvert 繪製了唇讀期間大腦中最活躍的區域。沒有正式唇讀經驗的志願者默默地唇讀一張緩慢清晰地說出數字一到九的面孔。卡爾弗特和她的同事發現，唇讀激發了聽覺皮層（大腦中處理聲音的區域）以及已知在有人聽到言語時活躍的相關大腦區域。這是首次證明跨感官影響大腦中被認為專門用於單一感官的區域的例子之一。最近的研究為感官合成提供了進一步的證據。例如，科學家現在知道，聽覺腦幹會對看到的言語的各個方面做出反應，而以前他們認為聽覺腦幹僅參與更基本的聲音處理。神經影像學研究表明，在麥格克效應期間——聽到“da”即使錄製的聲音是“ba”——大腦的行為就好像音節“da”落在了那個人的耳朵裡一樣。
這些發現表明，大腦可能會平等地重視從耳朵、眼睛甚至皮膚中收集到的言語。這並不是說這些不同的模式提供的資訊量相等：顯然，聽覺比視覺或觸覺捕捉到更多的發音細節。相反，大腦會協同努力考慮並結合其接收到的所有不同型別的言語資訊，而與模式無關。
寫在你的臉上
在其他情況下，不同的感官會互相幫助處理相同型別的資訊。例如，一個人說話的特定方式提供了關於他們是誰的資訊，而無論他們的言語是看到還是聽到。我的同事和我拍攝人們說話的影片，並操縱生成的影片以消除所有可識別的面部特徵——將面孔變成發光點的圖案，這些圖案像螢火蟲一樣在某人的臉頰和嘴唇應該出現的地方飛 dart 和 bob。當我們播放影片時，我們的志願者可以唇讀這些沒有面孔的點簇，並認出他們的朋友。
源自言語的簡單聲音也可以讓我們瞭解一個人的身份。哥倫比亞大學的羅伯特·雷梅茲和他的同事將正常的言語錄音簡化為聽起來有點像《星球大戰》中 R2-D2 發出的口哨聲和嘟嘟聲的正弦波。儘管這些正弦波缺少區分聲音的典型品質，如音高和音色，但它們保留了說話風格資訊，使聽眾能夠認出他們的朋友。最引人注目的是，志願者可以將這些正弦波與同一個人說話的發光點影片相匹配。
聽覺和視覺言語的簡化版本都保留了關於言語風格的相似資訊這一事實表明，這些不同的感知模式在大腦中是糾纏在一起的。神經影像學研究支援這種聯絡：聆聽熟悉的人的聲音會在梭狀回中誘發神經活動，梭狀回是人腦中參與面部識別的區域。
這些發現激發了一個更離奇的預測。如果這些感知形式是混合在一起的，那麼學習閱讀某人的嘴唇應該同時提高一個人聽到他或她說出的單詞的能力。我們要求沒有唇讀經驗的志願者練習唇讀某人說話的無聲影片一個小時。之後，志願者們聽了一組在隨機噪聲背景下播放的口語句子。他們不知道的是，一半的參與者聽的是他們剛剛唇讀的同一個人說出的句子，而另一半聽的是不同說話者說出的句子。唇讀和聽到同一個人的志願者更成功地從噪聲中挑選出句子。
混雜的感知
對多感官言語感知的研究幫助激發了科學家們研究所有先前未研究的感官之間的相互作用。例如，我們大多數人都知道氣味是味道的重要組成部分，但一些研究表明，視覺和聲音也會改變味道。在一個特別引人注目的例子中，科學家們發現，橙味飲料如果是紅色的，就會嚐起來像櫻桃味，反之亦然。 2005 年，義大利特倫託大學的馬西米利亞諾·贊皮尼和他的隊友表明，當志願者吃薯片時，改變播放給他們的嘎吱聲的音色部分決定了薯片嚐起來有多新鮮和酥脆。觀看連續下降的視覺紋理（如瀑布）會使人們確信他們用手感覺到的某些紋理表面正在上升。其他證據表明，跨感官輸入會在不知不覺中改變我們的行為。明尼蘇達大學的湯姆·斯托弗根和他的同事要求志願者站直，並將目光從附近的物體轉移到遠處的物體。這種簡單的視覺焦點轉移引起了身體姿勢的細微但系統的變化。
類似的發現變得如此普遍，以至於許多研究人員現在認為大腦的感官區域本質上是多感官的。這種修訂後的大腦模型也與大腦令人難以置信的可塑性的證據相符——即使面對短期或細微的感官剝奪，它也可以切換區域的主要功能。例如，過去四年的影像學研究證實，將一個人蒙上眼睛短短一個半小時，就可以啟動他們的視覺皮層以響應觸控。事實上，視覺皮層的參與實際上提高了對觸覺的敏感性。在一個相關的例子中，近視通常會增強人們的聽覺和空間技能，即使他們戴著眼鏡（這會使大部分視覺外圍區域模糊）。總的來說，跨感官補償比我們以前認為的要普遍得多。
多感官革命已經開始幫助那些失去主要感官之一的人。例如，研究表明，如果某人的大腦有太多時間將被忽視的聽覺皮層重新用於其他形式的感知（如視覺和觸覺），則人工耳蝸的效果會降低。因此，通常建議先天性耳聾的兒童儘早接受人工耳蝸植入。類似的研究鼓勵讓接受人工耳蝸植入的失聰兒童觀看人們說話的影片，以便他們學習如何將他們在別人的嘴唇上看到的言語與他們聽到的言語整合起來。
從事面部和語音識別裝置工作的工程師也受益於對多感官感知的研究。當面臨即使是中等程度的背景噪聲時，語音識別系統通常表現不佳。教會此類系統分析某人嘴部的影片片段可以大大提高準確性——這種策略甚至適用於通常安裝在手機和筆記型電腦中的攝像頭型別。
在某些方面，多感官感知的概念似乎與我們的日常經驗相矛盾。我們的本能是將感官組織成型別，因為每種感官似乎都掌握了我們世界的非常不同的方面。我們用眼睛看別人，用耳朵聽他們；我們用手感受蘋果的硬度，但用舌頭品嚐它的味道。然而，一旦感官資訊到達大腦，這種嚴格的分類就會崩潰。大腦不會像分類硬幣一樣，將來自眼睛的視覺資訊引導到一個神經容器中，將來自耳朵的聽覺資訊引導到另一個獨立的容器中。相反，我們的大腦透過融合各種形式的感官感知，儘可能多地從世界中獲得意義。