在擁擠的聚會或嘈雜的餐廳裡，我們大多數人都會做一件了不起的事情。在周圍所有的聲音中，我們的大腦會挑選出我們想聽到的聲音，並專注於那個人所說的話。聽力受損的人就沒有那麼幸運了。嘈雜的環境對他們來說尤其困難，助聽器和人工耳蝸也幫不上太大的忙。這類技術通常要麼放大所有的聲音，要麼將它們混在一起，以至於無法區分。
大腦如何處理在噪聲中聽聲音的技巧這個問題被稱為“雞尾酒會問題”。這是一個困擾聽覺科學家幾十年，並限制了他們所能提供的解決方案的難題。但研究人員剛剛在幫助人們在噪聲中聽到聲音方面向前邁進了一大步。在5月15日發表在《科學進展》雜誌上的一篇論文中，哥倫比亞大學祖克曼研究所的工程師們展示了一種實驗性技術，這種技術可能會催生出一種大腦控制的助聽器。他們的概念驗證裝置使用人工智慧來分離聲音，並將它們與聽者的腦電波進行比較，以識別和放大聽者最關注的說話者的聲音。
哥倫比亞大學祖克曼研究所的尼瑪·梅斯加拉尼是這篇論文的資深作者，自2012年首次發現可以透過監測腦電波來判斷聽者正在關注哪個聲音以來，他一直在研究同一問題的各個方面。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續報道關於塑造我們當今世界的發現和思想的具有影響力的故事。
2017年，他開發了一種可以從眾多聲音中提取出一個聲音的技術，但前提是系統必須經過訓練才能識別出特定的說話者——這在現實世界的交流中是一個嚴重的限制。現在，梅斯加拉尼和他的同事們透過使用腦電波來解碼您正在聽誰說話，然後在無需訓練的情況下分離出對話者的聲音，從而取得了重大進展。“消除那個障礙，”他說，“是一個相當大的突破。”
“這是一項傑出的工作，”卡內基梅隆大學神經科學研究所所長、未參與這項研究的聽覺神經科學家芭芭拉·辛-坎寧安說。明尼蘇達大學的聽覺神經科學家安德魯·奧克森漢姆多年來一直研究雞尾酒會問題，他說：“這使整個領域更接近實際應用，但尚未實現。”
梅斯加拉尼和他的同事們建立的是一種演算法，他們只在接受腦部手術的癲癇患者身上進行了測試。這類患者為科學家們提供了將電極直接放入人腦的難得機會。梅斯加拉尼和他的同事們從參與者面前的揚聲器中播放了兩個聲音（一男一女）同時說話。他們指示參與者先專注於一個聲音，然後再專注於另一個聲音。哥倫比亞大學的工程師們將聲音和患者大腦的電訊號輸入到他們的演算法中，該演算法對聲音進行分類，放大被關注的聲音，並衰減另一個聲音。“這兩個輸入進入這個盒子，輸出的是經過修改的音訊，其中目標說話者的聲音更大，”梅斯加拉尼說。
雖然使用腦電波來跟蹤聽覺注意力是一項令人印象深刻的成就，但真正的進步與演算法有關。它使用一種複雜的人工智慧形式，稱為深度吸引子網路，來自動和即時地分離未知的說話者。這類神經網路模型是在過去四年中開發的，它在越來越複雜的計算層中尋找統計規律，以確定聲音混合物中的哪些部分屬於一起。“深度學習是使[這]成為可能的秘訣，”梅斯加拉尼說。
神經科學家尚未完全弄清楚大腦如何在噪聲中聽到聲音並不重要。“我們不是試圖模擬大腦，”梅斯加拉尼說。“我們只是試圖解決雞尾酒會問題。”他們用比任何人一生中聽到的都多的人類語音例子來訓練該演算法。然後，他們給它佈置了任務，分析由多個說話者的聲音建立的聲譜圖或聲學特徵中詳細的、經常重疊的資訊，並將它們分離成不同的聲音流。以圖形方式表示，該論文將兩種組合的聲音顯示為紅色和藍色點的霧狀。一旦分離，一種聲音是一簇紅點，另一種是藍點。該演算法究竟是如何做到這一點的，仍然存在一些神秘之處。“我們的猜測是，它使用頻譜和時間資訊、共同的開始和結束[語音特徵]以及諧波結構，”梅斯加拉尼說。“我們告訴它，這片紅色和藍色的雲應該變得可分離。它不知何故神奇地發現了這種轉換，突然你就有了兩片雲。”
在這項技術能夠應用於實際的助聽器之前，仍然存在相當大的挑戰。梅斯加拉尼估計至少還需要五年時間。當然，一種可銷售的裝置需要一種非侵入性的技術來生成腦電波的腦電圖記錄。包括梅斯加拉尼在內的幾位科學家已經表明，帶有電極的耳內或耳周助聽器可以工作，儘管它們產生的訊號遠沒有那麼精確。而且，雖然功能強大，但該演算法仍然不是100%成功。
在所有可能性中，首批使用這項技術的裝置將幫助患有輕度至中度聽力損失的人。“您可能需要一些殘餘聽力，”梅斯加拉尼說。“只要您能跟蹤[一個]聲音的起伏，那將是這項技術要尋找的那種特徵
紐約大學朗格尼醫學中心的電氣工程師馬里奧·斯維爾斯基說，即使完全不監測腦電波，僅說話人分離演算法也可能被證明是有幫助的。“我設想一個可以與您的助聽器對話的智慧手機應用程式，”他說。“該應用程式會向您顯示不同說話人的圖示。如果您點選一個圖示，那麼該說話人的聲音將被優先放大，而其他人的聲音將被衰減。”
至於真正的腦控助聽器，斯維爾斯基擔心成本可能會超過收益，並且懷疑它是否會被實施。但他仍然對梅斯加拉尼的工作充滿熱情。“擁有一個讀心助聽器的整個想法令人著迷，”斯維爾斯基說。“這不僅僅是科幻小說。這項研究表明，這至少是一種可能的可能性。”