研究人員希望腦植入裝置有朝一日能幫助失去說話能力的人重新獲得聲音——甚至可能唱歌。現在，科學家們首次證明，大腦的電活動可以被解碼並用於重建音樂。
一項新的研究分析了來自 29 人的資料，這些人已經在使用郵票大小的電極陣列進行癲癇發作監測，這些電極直接放置在他們的大腦表面。當參與者聆聽 Pink Floyd 樂隊 1979 年的歌曲“Another Brick in the Wall, Part 1”時，電極捕捉到了大腦幾個區域的電活動，這些區域與音樂元素有關，如音調、節奏、和聲和歌詞。研究人員利用機器學習，重建了參與者聽到的略微失真但獨特的音訊。研究結果於週二發表在《PLOS Biology》雜誌上。
幾十年來，神經科學家們一直致力於僅從腦活動中解碼人們看到、聽到或思考的內容。2012 年，一個團隊（包括這項新研究的資深作者——加州大學伯克利分校的認知神經科學家羅伯特·奈特）首次成功重建了參與者佩戴植入電極時聽到的單詞的錄音。此後，其他人也使用類似的技術來重現最近從參與者的大腦掃描中觀看或想象的影像，包括人臉和風景照片。但奈特及其同事最近在《PLOS Biology》上發表的論文首次表明，科學家可以竊聽大腦來合成音樂。
加州大學舊金山分校的神經科學家沙伊莉·傑恩說：“這些令人興奮的發現建立在先前從腦活動中重建普通言語的工作基礎上。”她沒有參與這項新研究。“現在我們真的能夠深入大腦，挖掘聲音的本質。”
為了在這項研究中將腦活動資料轉化為音樂聲音，研究人員訓練了一個人工智慧模型，以解讀從數千個電極捕獲的資料，這些電極在參與者接受手術時聆聽 Pink Floyd 歌曲時連線到他們身上。
為什麼團隊選擇 Pink Floyd——特別是“Another Brick in the Wall, Part 1”？認知神經科學家、該研究的主要作者盧多維克·貝利耶說：“我們在論文中提到的科學原因是，這首歌層次非常豐富。它融入了複雜的和絃、不同的樂器和多樣的節奏，這使得它很有分析價值。不太科學的原因可能是我們真的很喜歡 Pink Floyd。”
人工智慧模型分析了大腦對歌曲聲學輪廓各個組成部分的反應模式，分解了音高、節奏和音調的變化。然後，另一個人工智慧模型重新組裝了這個分解的組合，以估計患者聽到的聲音。一旦大腦資料被輸入模型，音樂就回來了。它的旋律大致完整，歌詞雖然失真，但如果你知道要聽什麼，還是可以辨別的：“All in all, it was just a brick in the wall.”（總而言之，這只是一塊牆磚。）
該模型還揭示了大腦的哪些部分對歌曲的不同音樂特徵做出反應。研究人員發現，大腦音訊處理中心的一些部分——位於顳上回，就在耳朵後面和上方——對聲音或合成器的出現做出反應，而其他區域則沉浸在持續的嗡嗡聲中。
儘管研究結果側重於音樂，但研究人員預計他們的結果最有用的是將腦電波轉化為人類語言。無論語言如何，言語都包含旋律細微差別，包括節奏、重音、語調和音調。“這些我們稱之為韻律的元素，傳達了我們無法僅用文字表達的意義，”貝利耶說。他希望該模型能夠改進腦機介面，這是一種輔助裝置，可以記錄與言語相關的腦電波，並使用演算法來重建預期的資訊。這項技術仍處於起步階段，可以幫助那些因中風或癱瘓等疾病而失去說話能力的人。
傑恩說，未來的研究應該調查這些模型是否可以從參與者聽到的音樂擴充套件到想象的內心言語。“我希望這些發現能夠轉化，因為當人們想象說一個詞時，與實際發聲說出這個詞相比，會啟用相似的大腦區域，”她說。如果腦機介面可以用音樂中固有的韻律和情感分量來重建某人的言語，那麼它就可以重建的不僅僅是文字。“與其像機器人一樣說‘我。愛。你。’，你可以喊‘我愛你！’”奈特說。
在我們能夠將這項技術交到患者手中——或大腦中——之前，仍然存在一些障礙。首先，該模型依賴於直接從大腦表面獲取的電記錄。隨著大腦記錄技術的改進，或許有可能在無需手術植入的情況下收集這些資料——可能使用連線到頭皮的超靈敏電極代替。後一種技術可以用來識別參與者在腦海中想象的單個字母，但每個字母的過程大約需要 20 秒——遠不及自然語言的速度，自然語言的速度約為每分鐘 125 個單詞。
研究人員希望透過將電極更緊密地排列在大腦表面，使失真的回放更清晰、更易於理解，從而更詳細地觀察大腦產生的電交響曲。去年，加州大學聖地亞哥分校的一個團隊開發了一種密集排列的電極網格，該網格提供的腦訊號資訊解析度比目前的裝置高 100 倍。“今天我們重建了一首歌，”奈特說。“也許明天我們可以重建整張 Pink Floyd 專輯。”
本文的一個版本，標題為“A Little Brain Music”，經過改編，收錄在《大眾科學》2023 年 11 月刊中。