本文發表於《大眾科學》的前部落格網路，反映了作者的觀點，不一定代表《大眾科學》的觀點
“你打了一條魚。你為什麼要那樣做？”
“我想吃海鮮。”
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。 透過購買訂閱，您將幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和思想的具有影響力的故事。
截至撰寫本文時，這段 愛德華和貝拉 的“糟糕唇形同步”影片觀看次數已接近 1600 萬，客觀上來說非常搞笑。網際網路上充斥著有趣的唇形同步影片，將荒謬的臺詞塞進從 米特·羅姆尼 到 貝恩 等所有人的嘴裡。似乎對嘲笑他人的共同愛好決定了這些影片很有趣，事實就是如此。但為什麼呢？最好的“糟糕唇形同步”利用了我們大腦處理語音的方式。
不僅僅是我們聽到的
語音識別是許多不同的內部模式搜尋程式的串聯，所有程式都在尋找從語音的音調和音量到人的嘴部物理運動的微小變化。因此，不僅僅是你聽到的，還有你看到的。
即使語音主要是聽覺的，我們也會根據上下文（有意識和無意識地）優先考慮我們獲得的資訊型別。例如，在觀看一部特別長的外國電影時，我們學會忽略語音的視覺（即嘴部動作）和聽覺方面，而只關注螢幕上的文字。這不是我們通常認識的語音，但任何經歷過糟糕配音電影的人都知道，螢幕上的文字與說話者越難聯絡起來，你就越能意識到你痠痛的後背。我們的大腦試圖將甚至脫離身體的文字與它們的主人同步起來。
同樣地，想象一下你在一個擁擠的“世界末日”派對上看到一個朋友穿過房間。他們的聲音幾乎被“播放江南 Style！”的點播聲淹沒，所以你專注於他們的嘴部動作。將最少的聽覺輸入新增到“增強的”視覺輸入中，你就能勉強分辨出他們想要再來一杯啤酒。
因為在語音過程中減少我們看到或聽到的任何一個方面都會削弱整體，這表明語音感知不僅僅是像聽覺這樣的一種感官的聚合。它是多模式的。
但對語音的解釋並不是我們大腦交叉多條線路的唯一情況，可以這麼說。味覺是另一種多模式感知。例如，當從帶有鐵管道的飲水機中噴出的水嚐起來像鐵時，實際上你是在聞鐵的味道，然後這種味道會在你的大腦中與水的“鐵鏽”味結合起來（因為舌頭上沒有“鐵”味覺受體）。
作為這種聯絡有多強的另一個例子，想想吃綠色炸薯條或黃色牛排。即使食物完全正常，我敢打賭你也會猶豫是否要咬一口。或者考慮一下水晶百事可樂的悲慘案例。1992 年，百事可樂決定將其汽水的顏色從棕色改為透明色，同時保持相同的調味和成分。汽水的銷量暴跌。它於 1993 年從貨架上撤下。
正如你聞到的和你舌頭上感知到的可以共同構成我們品嚐到的味道一樣，我們看到和聽到的人們說話的聲音結合起來形成了我們對某人所說內容的感知。
麥格克效應
也許沒有什麼比錯覺更能讓我們質疑我們實際感知世界的方式了。它們不僅讓我們驚歎，還為大腦如何處理感官資訊提供了線索。最常見的視錯覺之一，“內克爾立方體”因其不斷變化的深度而如此神秘，因為我們的大腦對立方體應該是什麼樣子有相互競爭的 3D 模型。當它在它們之間任意翻轉時（在一定程度上受到對某些細節的關注的驅動），我們尋求模式的頭腦揭示了它們的軟體。也有語音錯覺。
麥格克效應是一種現象，其中一種聲音的聽覺成分與第二種聲音的視覺成分結合在一起，從而產生感知的第三種聲音。為了有效地做到這種錯覺，你需要一個配音影片。在影片中，揚聲器口型發出音節“va/va/va”，同時在影片上播放“ba/ba/ba”的聲音。然後你看到的東西會覆蓋你聽到的東西，將播放的聲音“ba/ba/ba”在你腦海中更改為“va/va/va”，即使音訊從未改變。如果你想讓你的大腦充分地被這種錯覺所震撼，你可以觀看這段 BBC 影片。真正令人驚奇的是，在錯覺期間，如果你閉上眼睛，從而關閉語音識別的視覺部分，錯覺會立即消散！（上面連結的影片在指出這一點方面做得非常出色。）這種錯覺的開/關開關再清楚不過了：語音感知遠不止我們聽到的。
這當然將我們帶回了《暮光之城》。
取笑閃閃發光、面色蒼白的吸血鬼
為了成功地干擾我們的語音感知，《暮光之城》“糟糕唇形同步”影片中替換的詞語需要有伴隨的嘴部動作，當說出這些詞語時，可以模仿電影中的原始臺詞。然後，幽默感就從這種在看似合理性的鋼絲上行走的舉動中產生——唇形同步足夠接近以迷惑我們，但又遠未完美，這非常搞笑。當詞語與嘴部動作更準確地同步時，它會變得更有趣（並且對每個角色的良好模仿也有幫助，如這個 驚人的貝恩模仿 的例子）。將所有這些與你正在觀看貝拉責罵愛德華打魚的事實結合起來，你就得到了一個病毒式傳播的影片。
並不是說你在這些影片中看到的是不正確的語音；實際上你看到的是不同的語音。正如將炸薯條染成綠色會使其味道令人厭惡一樣，一個吸血鬼用看似正確的嘴部動作談論吃蛋糕是令人捧腹大笑的，因為我們試探性地將其感知為真品。
再次觀看其中一個影片，注意你是如何不可避免地被吸引去研究說話者的嘴，看看匹配程度有多接近，檢查它是否“真實”。即使同步不完美，因為我們希望得到娛樂，我們也會對不可避免地將荒謬的詞語和短語硬塞到影片中給予餘地；荒謬的變成真實的。
當我們沒有嘴部可供檢查時，文字可以塑造我們識別為語音的東西。例如，這段影片 展示了將古典作品《哦，命運女神》誤聽為一首關於男人喜歡乳酪的歌曲是多麼容易（和搞笑）。將唇形同步和文字與我們聽到的內容結合起來，你就得到了 一個厭倦了巴拉克·奧巴馬的精靈。
我認為這一切都歸結為可信度。一開始我們就不會相信愛德華會問老鼠是否有“小弟弟”。但如果模仿得體，如果嘴部動作同步，我們就會暫停我們的懷疑，沉浸在一個青少年夢幻吸血鬼會問這種問題的現實中。同樣地，我們中的許多人都知道大多數音樂影片實際上都是唇形同步的，但我們已經非常擅長同步它們，以至於似乎沒有人介意。對未來的影片製作者的底線是：充分利用我們的多模式語音感知，你就可以把任何人變成腹語表演者的木偶。
特別緊密的同步會立即引起“看起來他們實際上就是這麼說的！”的反應。在某種程度上，確實如此，而且非常有趣。
進一步觀看：更多“糟糕唇形同步”影片