能將想法轉化為文字的讀心計算機

在亞當·皮奧爾的最新著作中,他探討了生物工程師如何利用最新技術來解鎖人體和大腦中尚未開發的潛能,例如將神經大腦的思維模式轉化為書面文字

摘自《身體建造者:工程化人體科學內幕》,作者:亞當·皮奧爾。版權所有 © 2017 亞當·皮奧爾。經出版商哈珀柯林斯出版社許可。保留所有權利。

這是一個寒冷的二月下午,我正坐在紐約州奧爾巴尼市中心一家醫院的病房裡,一群身穿白色外套的技術人員正忙著照料來自斯克內克塔迪的一位 40 歲單身母親凱西的病床。他們正準備突破計算機輔助“讀心術”的界限。他們正嘗試解碼“想象中的言語”。

我是在一位名叫格溫·沙爾克的、健談的奧地利裔神經科學家帶領下來到這裡的,他承諾要向我展示,自從幾十年前大衛·休伯爾和託斯滕·維塞爾透過監聽並解碼貓視覺皮層中神經元放電模式而創造歷史以來,他和其它神經密碼破譯者已經走了多遠。


支援科學新聞報道

如果您喜歡這篇文章,請考慮透過 訂閱來支援我們屢獲殊榮的新聞報道。透過購買訂閱,您將有助於確保關於塑造我們當今世界的發現和想法的有影響力的故事的未來。


凱西患有癲癇病,她計劃接受腦部手術,試圖切除大腦中導致癲癇發作的部分。三天前,醫生切開了凱西的頭骨頂部,並將 117 個微小的電極直接放置在她裸露的大腦皮層右側表面,以便他們可以監測她的大腦活動並繪製目標區域的地圖。在等待期間,她自願參與沙爾克的研究。

現在,在我的椅子旁邊,凱西被支撐在一張電動病床上。凱西的頭頂包裹著僵硬的、類似石膏的繃帶和手術膠帶。一團厚厚的網狀電線從她頭骨頂部的開口處伸出。它耷拉在她的病床後面,一直垂到地上,然後蜿蜒到一輛裝有價值 25 萬美元的盒子、放大器、分線器和計算機的手推車上。

一位服務員發出訊號,凱西將注意力集中在放在她面前桌子上的顯示器上,隨著一系列單詞以女性單調的聲音從附近的一對揚聲器中發出。

“勺子…”

“蟒蛇…”

“戰場…”

每個單詞之後,凱西的顯示器上都會閃爍一個彩色的加號——這是凱西在腦海中默默重複每個單詞的提示。凱西的臉上毫無表情。但是,當她想象每個單詞時,位於她皮層頂部的 117 個電極會記錄從她大腦中稱為顳葉的區域內數億個神經元發出的獨特組合的電活動。這些模式透過電線傳輸,進入一個放大它們的盒子,然後進入計算機,在那裡它們以堆疊的水平線的峰值和谷值表示,這些水平線在技術人員面前的螢幕上滾動。在如此濃密且難以穿透的波浪線團中,就像用刷子拉緊的一把頭髮,埋藏著一種邏輯模式,一種如果瞭解大腦的神秘語言就可以讀取的程式碼。

稍後,沙爾克在紐約州衛生部公共衛生實驗室沃茲沃思中心及其在加州大學伯克利分校的合作者將仔細研究這些資料。凱西的每個電極大約每秒記錄大約 100 萬個神經元的狀態,從而產生令人眼花繚亂的數字、組合和可能的含義。

然而,沙爾克堅持認為他和他的團隊可以解決這個難題,並利用現代計算能力,從這些資料中提取出凱西想象出的單詞。

這是沙爾克在過去十年多里一直在努力的事情。作為最初由陸軍研究辦公室資助的一個專案的一部分,沙爾克和其他人發現證據表明,當我們“想象”說話時,聽覺皮層可能會作為錯誤糾正的參考,會接收到我們說的每個單詞應該聽起來的樣子。即使我們只是想象說一個單詞,也是如此。

自從那項發現以來,沙爾克和他的合作者已經證明,他們有時可以區分想象中的母音和子音,機率約為 45%。隨機機率是 25%。沙爾克並沒有試圖將這些數字提高到接近 100%,而是專注於展示他可以區分嵌入在單詞中的母音和子音。然後是單獨的音素。而這還不是全部。

從凱西的床邊,我跟著沙爾克來到他的辦公室。在一個大螢幕上,沙爾克調出大量的腦訊號、波浪線和各種圖表。然後他打開了一些揚聲器。沙爾克解釋說,在過去的幾個月裡,他把揚聲器帶進醫院病房,併為像凱西這樣的十幾位腦部手術患者播放了同一段平克·弗洛伊德樂隊的歌曲。然後,沙爾克將他們記錄的大腦活動檔案交給加州大學伯克利分校的羅伯特·奈特實驗室進行處理,看看他們是否可以解碼它。

沙爾克按下一個按鈕。一個低音開始像人類心臟劇烈跳動一樣急促地從附近的揚聲器中發出砰砰聲。它有點低沉,好像從水下聽到的一樣,但它顯然是低音。一首哀婉的吉他曲透過一個效果踏板迴響,它的音符隨著每個新樂句而加速。我立刻認出了這首歌——這是平克·弗洛伊德樂隊的《牆》中的《牆上的另一塊磚》中令人著迷和難以忘懷的音調。除了略微模糊之外,這首歌與我高中時聽的歌曲相同。但是這個版本來自腦電波,而不是音樂。   

“它完美嗎?”沙爾克問道。“不。但是我們不僅知道他正在聽音樂,而且你知道這首歌。這曾經是科幻小說,但現在不再是了。”

這一壯舉之所以成為可能,是因為發現聽覺皮層中不同的神經元群對特定音調和振幅的反應更為強烈。透過播放正確的音調來觸及聽覺皮層中單個神經元的最佳位置,它會強烈放電。遠離神經元首選的音調,神經元的放電率會減慢。透過訓練模式識別演算法,沙爾克和他的合作者已經教會計算機將聽覺皮層中的神經放電模式“翻譯”回聲音。

沙爾克和他伯克利的合作者現在正試圖僅透過檢視大腦資料來辨別患者是在想象背誦葛底斯堡演說、肯尼迪的就職演說,還是童謠《矮胖子》,並嘗試使用相同的技術人工再現它。他們最終希望用它來解碼像凱西這樣的志願者的想象中的言語,並最終解碼那些完全被禁錮並喪失說話能力的患者的言語。

Adam Piore is a freelance journalist. His last article for 大眾科學 examined the movement to bring evolution back to the classroom.

More by Adam Piore
© .