當馬修·布萊克斯利用手塑造漢堡肉餅時，他的嘴裡會體驗到生動的苦味。埃斯梅雷達·瓊斯（化名）在聽鋼琴上彈奏的升C調音符時會看到藍色；其他音符會喚起不同的色調——以至於鋼琴鍵實際上是用顏色編碼的。當傑夫·科爾曼看到印刷的黑色數字時，他會看到彩色的，每個數字都是不同的色調。布萊克斯利、瓊斯和科爾曼是少數患有聯覺症的、其他方面都很正常的人。他們以非凡的方式體驗著普通的世界，似乎居住在幻想與現實之間神秘的無人之境。對他們來說，感官——觸覺、味覺、聽覺、視覺和嗅覺——混合在一起，而不是保持分離。
自1880年弗朗西斯·高爾頓（查爾斯·達爾文的表弟）在《自然》雜誌上發表了一篇關於這種現象的論文以來，現代科學家就瞭解了聯覺。但大多數人認為這是偽造、吸毒的產物或僅僅是好奇心。然而，大約在六年前，我們和其他人開始揭示可能解釋聯覺的大腦過程。在此過程中，我們還發現了關於人類思維一些最神秘方面的線索，例如抽象思維和隱喻的出現。
對聯覺的一種常見解釋是，受影響的人僅僅是在體驗童年記憶和聯想。也許一個人小時候玩過冰箱磁鐵，數字5是紅色，6是綠色。然而，這種理論並沒有回答為什麼只有一部分人保留了如此生動的感官記憶。當你看到冰塊的圖片時，你可能會想到寒冷，但你可能不會感到寒冷，無論你在年輕時有多少次接觸過冰雪。
支援科學新聞業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們今天世界的發現和想法的具有影響力的故事的未來。
另一種流行的觀點是，當聯覺者將升C調音符描述為紅色，或說雞肉嚐起來是尖的——就像你和我可能會說一件花哨的襯衫或味道濃烈的切達乳酪一樣，他們僅僅是在使用隱喻。我們的日常語言中充滿了這種與感官相關的隱喻，也許聯覺者只是在這方面特別有天賦。
1999年，我們開始試圖找出聯覺是否是一種真實的感官體驗。這個看似簡單的問題困擾了該領域的研究人員幾十年。一種自然的方法是從直接詢問受試者開始：這僅僅是一種記憶，還是你真的看到了顏色，就好像它就在你面前一樣？當我們提出這個問題時，我們並沒有取得多大進展。有些受試者確實回答說，哦，我看得非常清楚。但更常見的反應是，我有點看到它，又有點沒看到，或者不，它不像記憶。我看到數字是明顯的紅色，但我也知道它不是；它是黑色的。所以它一定是記憶，我想。
為了確定一種效應是否真正是知覺性的，心理學家經常使用一種叫做突顯或分離的簡單測試。如果你看到一組傾斜的線條散佈在一片垂直線條的森林中，傾斜的線條會突顯出來。事實上，你可以立即將它們與背景分離，並在心理上將它們分組，例如，形成一個單獨的三角形。同樣，如果大部分背景元素是綠點，而你被告知要尋找紅色目標，那麼紅色目標就會突顯出來。另一方面，一組散佈在相同顏色的5中的黑色2幾乎融為一體[參見第21頁的方框]。如果不逐項檢查數字，就很難辨別出2，即使任何單個數字都與其鄰居的差異就像傾斜的線條與直線的差異一樣明顯。因此，我們可以得出結論，只有某些原始的或基本的特徵，如顏色和線條方向，才能為分組提供基礎。更復雜的知覺標記，如數字，則不能。
我們想知道，如果我們向體驗到混合數字的聯覺者展示數字，例如，當他們看到5時體驗到紅色，看到2時體驗到綠色，會發生什麼。我們排列了2，使它們形成一個三角形。
當我們對志願者進行突顯測試時，答案非常清楚。與正常受試者不同，聯覺者正確報告了由數字組形成的形狀，高達90%的時間（與非聯覺者在數字實際上具有不同顏色時的情況完全相同）。這個結果證明，誘發的顏色是真正的感官，聯覺者不是在編造。他們不可能偽造他們的成功。
視覺處理
聯覺是真實的這一確認引出了一個問題：為什麼有些人會體驗到這種奇怪的現象？我們的實驗使我們傾向於認為，聯覺者正在體驗大腦中某種交叉佈線的結果。這個基本概念最初是在大約100年前提出的，但我們現在已經確定了這種交叉佈線可能發生的位置和方式。
理解起作用的神經生物學因素需要對大腦如何處理視覺資訊有一定的瞭解。從場景反射的光線照射到眼睛中的視錐細胞（顏色受體）後，來自視網膜的神經訊號會傳遞到大腦後部枕葉的17區。在那裡，影像會在區域性簇或斑點內進一步處理成顏色、運動、形狀和深度等簡單屬性。之後，關於這些單獨特徵的資訊會被向前傳送並分佈到顳葉和頂葉的幾個遙遠區域。在顏色的情況下，資訊會傳遞到顳葉梭狀回中的V4區。從那裡，它會傳遞到顏色中心等級中更高階的區域，包括靠近一塊叫做TPO（顳葉、頂葉和枕葉交界處）的皮質區域的區域。這些更高階的區域可能與更復雜的顏色處理方面有關。例如，樹葉在黃昏時看起來和在中午時一樣綠，即使從它們反射的波長混合物非常不同。
數字計算似乎也分階段進行。早期的步驟也發生在梭狀回中，數字的實際形狀在那裡被表示，而稍後的步驟發生在角回中，角回是TPO的一部分，與數字概念有關，如序數性（順序）和基數性（數量）。（當角回因中風或腫瘤而受損時，患者仍然可以識別數字，但不能再除法或減法。乘法通常得以保留，因為它是由死記硬背學來的。）此外，對人類進行的大腦成像研究強烈暗示，視覺呈現的字母表字母或數字（字形）會啟用梭狀回中的細胞，而音節的聲音（音素）會在更高級別的地方被處理，再次是在TPO附近。
由於顏色和數字最初都在梭狀回中處理，隨後在角回附近處理，我們懷疑數字-顏色聯覺可能是由V4和數字外觀區域（都在梭狀回內）之間，或更高階顏色區域和數字概念區域（都在TPO中）之間的交叉佈線引起的。其他更奇異的聯覺形式可能是由不同感覺處理區域的類似交叉佈線引起的。顳葉的聽覺中心也靠近從V4接收顏色訊號的更高階大腦區域，這可以解釋聲音-顏色聯覺。同樣，馬修·布萊克斯利對手的觸覺的味覺可能是由於味覺皮質（位於一個叫做島葉的區域）和相鄰的代表手部觸覺的皮質之間的交叉佈線引起的。
假設神經交叉佈線確實是聯覺的根源，那麼它為什麼會發生呢？我們知道聯覺在家族中遺傳，所以它具有遺傳成分。也許突變會導致通常隔離的大腦區域之間出現連線。或者，也許突變會導致通常僅稀疏連線的區域之間預先存在的連線發生缺陷性修剪。如果突變在某些大腦區域表達（即，發揮其作用）而在其他區域不表達，這種不均勻性可能解釋為什麼一些聯覺者混淆顏色和數字，而另一些聯覺者在聽到音素或音符時會看到顏色。患有一種聯覺型別的人更有可能患有另一種聯覺型別，這增加了這種想法的分量。
雖然我們最初從物理交叉佈線的角度來思考，但我們已經意識到，如果佈線——區域之間連線的數量——良好，但區域之間傳播的化學物質的平衡被扭曲，也可能發生同樣的效果。因此，我們現在用交叉啟用來解釋。例如，相鄰的大腦區域經常抑制彼此的活動，這有助於最大限度地減少串擾。某種型別的化學失衡會減少這種抑制——例如，透過阻斷抑制性神經遞質的作用或未能產生抑制劑——也會導致一個區域的活動引發鄰近區域的活動。理論上，這種交叉啟用也可能發生在遙遠的區域之間，這將解釋一些不太常見的聯覺形式。
對交叉啟用的支援來自其他實驗，其中一些實驗也有助於解釋聯覺可能採取的各種形式。其中一種利用了一種叫做擁擠的視覺現象[參見對面頁面的方框]。如果你盯著影像中一個小小的加號，旁邊也有一個數字5，你會發現很容易辨別出這個數字，即使你沒有直接看著它。但是，如果我們現在用其他四個數字（如3）包圍5，那麼你就無法再識別它。它看起來模糊不清。感知正常的志願者在識別這個數字方面的成功率不高於純粹的偶然。這並不是因為視覺外圍區域的東西變得模糊不清。畢竟，當5沒有被3包圍時，你可以非常清楚地看到它。你現在無法識別它，是因為注意力資源有限。側翼的3以某種方式分散了你對中心5的注意力，並阻止你看到它。
當我們對兩位聯覺者進行同樣的測試時，一個很大的驚喜出現了。他們看著顯示屏，並說了這樣的話：我看不到中間的數字。它很模糊，但看起來是紅色的，所以我猜它一定是5。即使中間的數字沒有有意識地註冊，但似乎大腦仍然在某個地方處理它。然後，聯覺者可以使用這種顏色來理性地推斷出數字是什麼。如果我們的理論是正確的，這個發現意味著數字在梭狀回中被處理，並在擁擠效應發生在大腦中的階段之前喚起適當的顏色；矛盾的是，結果是即使是看不見的數字也可以產生聯覺。
我們做的另一個發現也支援了這個結論。當我們降低數字和背景之間的對比度時，聯覺顏色變得更弱，直到在低對比度下，受試者根本看不到顏色，即使數字完全可見。擁擠實驗表明，看不見的數字可以引起顏色，而對比度實驗則相反地表明，觀看數字並不能保證看到顏色。也許低對比度的數字足以啟用梭狀回中的細胞，以實現對數字的有意識感知，但不足以交叉啟用V4中的顏色細胞。
最後，我們發現，如果我們向聯覺者展示羅馬數字，比如V，他們看不到顏色——這表明驅動顏色的不是數字的數字概念，在本例中是5，而是字形的視覺外觀。這一觀察結果也暗示了梭狀回本身內的交叉啟用與數字-顏色聯覺有關，因為該結構主要參與分析數字的視覺形狀，而不是高階含義。一個有趣的轉折：想象一個由小3組成的大5的影像；你可以看到森林（5），也可以微觀地關注樹木（3）。兩位聯覺受試者報告說，他們看到的顏色會切換，這取決於他們的焦點。這項測試表明，即使聯覺可能是由於視覺外觀本身——而不是高階概念——而產生的，但視覺輸入的分類方式，基於注意力，也是至關重要的。
但當我們開始招募其他志願者時，很快就變得明顯，並非所有將他們的世界染上色彩的聯覺者都是一樣的。在某些人中，甚至一週中的幾天或一年中的月份也會引起顏色。
一週中的幾天、月份和數字唯一共同之處是數字序列或序數性的概念。對於某些聯覺者來說，也許是數字序列的抽象概念驅動了顏色，而不是數字的視覺外觀。是否有可能在這些人中，交叉佈線發生在角回和TPO附近的高階顏色區域之間，而不是梭狀回中的區域之間？如果是這樣，這種相互作用將解釋為什麼即使是抽象的數字表示，或由一週中的幾天或月份引起的數字概念，也會強烈地喚起特定的顏色。換句話說，根據聯覺基因在大腦中表達的位置，它可能導致不同型別的聯覺——由數字概念驅動的更高階的聯覺，或僅由視覺外觀產生的更低階的聯覺。同樣，在一些較低階的形式中，字母的視覺外觀可能會產生顏色，而在更高階的形式中，是該字母召喚的聲音或音素；音素在TPO附近表示。
我們還觀察到一個案例，我們認為交叉啟用使一位色盲聯覺者能夠看到帶有他原本無法感知的色調的數字；令人著迷的是，他將這些顏色稱為火星顏色。雖然他的視網膜顏色受體無法處理某些波長，但我們認為他的大腦顏色區域工作正常，並且在他看到數字時被交叉啟用。
在我們與聖地亞哥索爾克生物研究所的傑弗裡·M·博因頓進行的腦成像實驗中，我們獲得了初步證據，表明顏色區域V4的區域性啟用方式與我們的聯覺交叉啟用理論預測的方式一致。（倫敦精神病學研究所已故的傑弗裡·A·格雷及其同事報告了類似的結果。）在向聯覺者呈現黑白數字時，不僅在數字區域（就像在正常受試者中一樣）而且在顏色區域也出現了大腦啟用。我們的小組還觀察到不同型別聯覺者之間的差異。與對照組受試者相比，較低階聯覺的受試者在顏色處理的早期階段表現出更大的啟用。相反，較高階聯覺的受試者在這些早期階段表現出較少的啟用。
隱喻的運用
我們對聯覺神經基礎的見解可能有助於解釋畫家、詩人和小說家的一些創造力。一項研究表明，聯覺在有創造力的人中比在普通人群中更常見。
許多有創造力的人共同擁有的一種技能是運用隱喻的能力（“東方升起了太陽，朱麗葉就是太陽”）。就好像他們的大腦被設定為在看似不相關的領域之間建立聯絡——例如太陽和一個美麗的年輕女子。換句話說，正如聯覺涉及在看似不相關的知覺實體（如顏色和數字）之間建立任意聯絡一樣，隱喻涉及在看似不相關的概念領域之間建立聯絡。也許這不僅僅是一個巧合。
許多高階概念可能都錨定在特定的大腦區域或地圖中。如果你仔細想想，沒有什麼比數字更抽象的了，然而正如我們所見，它在一個相對較小的大腦區域（角回）中被表示出來。假設我們認為引起聯覺的突變導致不同大腦地圖——代表特定知覺實體的皮質小斑塊，例如形狀的銳度或曲率，或者在顏色地圖的情況下，色調——之間過度交流。取決於該特徵在大腦中表達的位置和廣泛程度，它可能導致聯覺和傾向於連線看似不相關的概念和想法——簡而言之，創造力。這將解釋為什麼明顯無用的聯覺基因在人群中得以倖存。
除了闡明為什麼藝術家可能容易體驗聯覺之外，我們的研究表明，我們所有人都有一定的聯覺能力，並且這種特質可能為抽象的進化——人類擅長的能力——奠定了基礎。TPO（以及其中的角回）在聯覺中發揮作用，通常參與跨模態合成。它是大腦區域，來自觸覺、聽覺和視覺的資訊被認為在這裡匯合，以實現高階知覺的構建。例如，貓是毛茸茸的（觸覺），它會喵喵叫和發出咕嚕聲（聽覺），它有一定的外觀（視覺）和氣味（嗅覺），所有這些都是透過對貓的記憶或貓這個詞的聲音同時獲得的。
是否有可能角回——在人類中比在猿猴中不成比例地大——最初是為了跨模態關聯而進化，然後被共同選擇用於其他更抽象的功能，例如隱喻？考慮一下心理學家沃爾夫岡·科勒最初設計的兩幅圖畫。一幅看起來像墨跡，另一幅看起來像一塊破碎的玻璃。當我們問，哪一個是“bouba”，哪一個是“kiki”時？98%的人選擇墨跡作為“bouba”，另一個作為“kiki”。也許那是因為類變形蟲形狀的溫和曲線隱喻地模仿了“bouba”聲音的溫和起伏，這在聽覺中心以及嘴唇發出彎曲的“boo-baa”聲音時的逐漸彎曲中都得到了體現。相比之下，“kiki”聲音的波形和舌頭在顎部上的尖銳彎曲模仿了鋸齒狀視覺形狀中的突然變化。這兩個“kiki”特徵唯一共同之處是鋸齒狀的抽象屬性，它在TPO附近，可能在角回中被提取出來。從某種意義上說，也許我們都是隱藏的聯覺者。
因此，角回執行一種非常基本的抽象型別——從一組截然不同的實體中提取共同點。我們不確切知道它是如何完成這項工作的。但是，一旦進行跨模態抽象的能力出現，它可能就為更復雜的抽象型別鋪平了道路。
當我們開始對聯覺進行研究時，我們並沒有意識到它會把我們帶到哪裡。我們萬萬沒有想到，這種長期以來被視為僅僅是好奇心的怪異現象，可能會為我們瞭解思想的本質提供一個視窗。