一位飛行員坐在鑽石 DA42 輕型飛機的駕駛艙中,在腦海中演練安全降落在前方跑道上所需的步驟。片刻之後,他著陸了,沒有碰過控制裝置或踩過飛機的腳蹬。他不是普通的飛行員——事實上,他根本不是飛行員,但他剛剛使用腦電波降落了他的飛機。
在今年早些時候進行的一系列實驗中,七位具有不同駕駛艙經驗(包括零經驗)的人成功地駕駛並降落了一架模擬 DA42。這些飛行員沒有透過數小時的訓練和駕駛艙經驗來培養正常的手腳協調能力,而是依靠一個裝有電極的帽子來收集他們的神經衝動,以及將神經衝動轉換為虛擬雙引擎飛機指令的飛行控制演算法。
這項實驗由德國慕尼黑工業大學的航空航天工程師蒂姆·弗裡克領導,它正在推動腦電圖和其他掃描技術檢測、解碼和利用大腦神經衝動能力的極限。曾經,腦電圖僅僅測量頭皮表面檢測到的大腦電訊號,而最新的腦電圖耳機和計算機演算法可以將神經元訊號轉化為控制各種機械裝置(包括輪椅、假肢以及現在的飛行模擬器)的具體動作。這些裝置有望將人類的表現提升到新的水平。
支援科學新聞報道
如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保關於塑造我們當今世界的發現和想法的具有影響力的故事的未來。
例如,一些與腦電圖連線的飛行員在濃密的數字霧中降落了他們的模擬飛機。測試物件保持在航線上,其準確度足以部分滿足飛行員執照的要求。
其他大腦解碼專案依賴於不同的技術,即磁共振成像。研究人員已經使用磁共振成像技術重建了人所看到的面孔影像,並探測了睡眠者夢境的內容。儘管腦電圖在以毫秒級的精度檢測大腦訊號的 timing 方面表現出色,但在辨別訊號來源方面卻有所不足。另一方面,功能性磁共振成像系統透過記錄大腦血流中相對緩慢的變化來精確定位神經活動的位置。透過結合這些系統(正如科學家們現在開始做的那樣),我們可以更好地理解當我們處理影像、儲存記憶或做出快速決定(例如揮棒擊打快速球)時,我們的大腦中發生了什麼。
腦飛行
在典型的腦電圖設定中,科學家們在人頭骨的不同位置放置數十到數百個小型電極。這些電極拾取以不同頻率穿過我們頭部的電訊號,這些訊號是大腦細胞之間進行通訊時產生的。與所有大腦掃描技術一樣,腦電圖依賴於軟體來解釋腦電波。並非所有大腦的行為都相同,因此軟體必須處理大量的神經資料,然後才能識別大腦活動中的模式,這一過程稱為機器學習。一旦系統掌握了特定人員的神經模式,它就可以將這些模式轉換為有用的控制命令——例如,使虛擬飛機向左或向右轉,或者移動電腦滑鼠。隨著這些演算法解釋神經訊號的能力不斷提高,科學家們可以以新的方式運用腦電波。
德國研究人員於 2014 年 1 月開始了他們的模擬飛行幻想。這項實驗於去年秋天釋出,是名為“腦飛行”的歐洲專案的一部分,該專案的目標是確定神經科學和神經工程學是否能夠提供僅由人腦發出的訊號驅動的飛機。這個極端的目的是為了實現一些更實際的目標:透過使用腦機介面 (BCI) 取代數十個按鈕和操縱桿來簡化駕駛艙儀表;減少培訓飛行員所需的時間和成本;併為身體殘疾人士開闢成為飛行員的職業道路。
在虛擬飛行過程中,模擬器會定期指示測試飛行員在腦海中引導飛機朝向給定的航向,就像真正的飛行員在前往目的地的途中必須反覆進行航向修正一樣。腦電圖裝置在不到一秒的時間內確定了每位飛行員想要做什麼,並將這些指令傳送到飛行控制系統。“我們希望透過使用 BCI,有一天飛行可以像解放雙手的騎腳踏車一樣,你仍然需要專注於你想去哪裡[以及]周圍的交通,而不是控制你的車輛,”弗裡克補充道。
此類飛行模擬促進了 BCI 的發展,BCI 使大腦能夠僅透過思維與外部裝置進行通訊。大多數耳機僅與其主機計算機間歇性地通訊。然而,這種 BCI 會持續將有關每位飛行員神經活動的資訊傳送到模擬器,從而使導航員能夠更好地控制他們的虛擬飛行。隨著軟體的改進,基於大腦的對任何複雜機械(包括汽車)的指揮成為可能。
解鎖
神經航空飛行員展示了腦電圖提取簡單運動指令的能力,而其他腦電圖裝置可以從人的頭腦中找出令人驚訝的特定資訊。在 2012 年發表的一項實驗中,當時在加州大學伯克利分校的計算機科學家伊萬·馬蒂諾維奇和他的同事要求 30 位健康個體佩戴腦電圖耳機,並觀看螢幕,研究人員在螢幕上隨機閃爍 ATM 機、簽帳金融卡、地圖、人物和數字 0 到 9 的影像。然後,研究人員研究了腦電圖資料中神經活動的高峰。這種上升表明這個人可能熟悉特定的數字或影像。軟體試圖從這些高峰中提取個人資訊,例如個人的 ATM PIN 碼、出生月份、銀行位置以及他或她使用的簽帳金融卡型別。這些預測的準確性各不相同——在 PIN 碼、簽帳金融卡型別和銀行位置的情況下,在第一次猜測時找到了正確的答案,機率為 20% 到 30%。該軟體猜對了近 60% 參與者的出生月份。
這些實驗的目的是研究 BCI 可能被惡意使用的情況,但這項工作也突出了該技術從無法以其他方式交流的人們那裡提取資訊的潛力。醫學研究人員已經使用 BCI 來幫助那些被禁錮的人——由於全身癱瘓而無法移動或說話的人。過去,這項技術已經能夠從這些人那裡收集到簡單的“是”或“否”答案。日內瓦大學的研究作者和認知神經科學家托馬斯·羅斯說,新的腦電圖演算法可能很快就能讓他們傳達簡單的請求、需求或其他資訊。
儘管該研究中使用的演算法需要被監測大腦的人的同意,但可能在使用者不知情的情況下提取更粗略型別的資訊。在 2013 年發表的一項研究中,加州大學伯克利分校的安全分析師馬里奧·弗蘭克和他的同事向參與者短暫地閃爍面孔影像,以至於觀看者無法有意識地處理它們。儘管如此,該軟體仍可以 66% 的時間確定個體是否認出了影像中的人。
儘管這些發現可能會引發暗中監視人們內心生活的幽靈,但它們也可以轉化為對患有認知或情緒障礙的個體有用的監測工具。例如,移動式腦電圖耳機可以檢測到阿爾茨海默病患者的困惑,並向類似於谷歌眼鏡的頭戴式顯示器傳送訊號。顯示器將以與使用者正在觀看的內容相關的影像或資訊做出響應。羅斯建議,對於受損程度較輕的個體,此類裝置可能會檢測到舌尖現象,並提供缺失的資訊。
面部重建
腦電圖電極檢測到的訊號僅粗略地代表了大腦的內部運作。首先,頭骨會阻擋一部分電能到達頭皮電極。此外,訊號過於分散,無法追溯到其來源。為了定位大腦活動,科學家們依賴於功能性磁共振成像。當神經元活躍時,它們需要氧氣,而氧氣是從血液中提取的。結果是區域性血氧水平發生變化,功能性磁共振成像機器可以檢測到這種變化。
科學家們已經轉向功能性磁共振成像,將其作為研究大腦如何處理語言、學習和記憶等功能的工具。然而,這項技術開始從大腦中提取越來越詳細的資料形式。在最新的進展之一中,科學家們使用從接受功能性磁共振成像掃描的人們那裡記錄的大腦活動,首次準確地重建了人所看到的面孔圖片。
今年早些時候,耶魯大學的認知神經科學家馬文·春和他的同事向六個人展示了 300 張不同的面孔圖片,同時捕捉了觀看者的大腦活動。研究人員的機器學習演算法將面孔整體及其個體特徵與血氧水平模式相關聯。然後,他們向這些參與者展示了 30 張新面孔。該軟體將新面孔引起的大腦活動與原始測試期間建立的神經反應目錄進行匹配。僅使用神經活動,該軟體就重新建立了該個體所看到的臉孔。研究人員在 7 月份的《神經影像》雜誌上寫道,結果是“驚人準確的神經重建”。
這些重建並非依賴於大腦枕葉皮層的活動(枕葉皮層在處理影像中起著核心作用),而是基於更分散的神經活動模式,其中大部分活動發生在高階大腦區域,這些區域透過物體的總體屬性來識別和表徵物體。科學家們正在尋找影像的更抽象的表示,而不是輪廓和陰影等視覺線索。研究人員接下來希望研究記憶、情感和社會判斷(其他大腦區域的領域)如何與視覺互動,以更好地理解我們如何感知面孔和物體。
科學家們還使用功能性磁共振成像和模式識別軟體來解碼人們夢境的一些內容。在日本 ATR 計算神經科學實驗室的神經科學家神谷之康及其同事於 2013 年發表的工作中,他們要求三名男性觀看不同類別的物體——例如人、單詞或書籍——同時使用功能性磁共振成像掃描他們的大腦。然後,這些男性還佩戴了腦電圖耳機,並被要求在掃描器中睡覺,每次持續約三個半小時,持續 7 到 10 天。研究人員每小時最多喚醒志願者 10 次,並詢問他們在夢中看到了什麼。軟體檢測到做夢期間收集的大腦活動模式與分配給適當物件類別的模式之間存在密切匹配,至少在 60% 的時間內是這樣。
訓練軟體識別更多種類的類別——包括動作和情緒——可能會揭示有關人們夢境的更細緻的資訊。然後,這些發現可以為睡眠和做夢如何影響記憶和情緒提供線索。
用於詳細解構影像的計算機技術(無論是在夢中還是在清醒時)具有非常廣泛的應用。“提高我們解碼大腦活動並將其與行為聯絡起來的能力是認知神經科學的根本目標,”春說,“它是各種臨床應用(診斷、預測和治療)和實際應用(包括腦機介面)的基礎。”
神經偵察
功能性磁共振成像雖然功能強大,但也存在侷限性。價值數百萬美元的磁共振成像機器重達數噸,並且要求受試者靜靜地躺在狹窄的孔洞中,同時嘈雜的磁鐵進行工作——這很難適應日常情況。該技術還相對緩慢地拾取神經活動,以秒或分鐘為單位。因此,功能性磁共振成像無法揭示不同大腦區域響應刺激而活躍起來的順序。相比之下,腦電圖可以在毫秒內檢測到變化,這更接近神經變化本身的速度。
由於這些技術是互補的,因此將功能性磁共振成像與腦電圖相結合,對於揭示各種認知和情感過程的線索具有巨大的前景。例如,為了解碼我們的大腦如何重新定向我們的注意力,這些掃描技術可以比較我們在警覺時刻亮起的大腦區域與我們注意力遊移時的啟用模式。“我們或許能夠建立這樣的系統:如果我們跟蹤這些狀態,我們就知道何時向某人提供重要資訊,”哥倫比亞大學的生物醫學工程師保羅·薩伊達說。例如,這樣的系統可能會在注意力不集中的駕駛員接近十字路口時發出警告。
但這種組合策略的首批應用之一是棒球。薩伊達和他的同事們在過去的幾年裡一直在即時結合腦電圖和功能性磁共振成像,以研究棒球運動員識別球種並決定是否揮棒的速度有多快。2012 年,哥倫比亞大學博士後研究員傑森·舍溫和研究生喬丹·穆拉斯金開發了一個計算機程式,該程式從捕手的角度模擬投球。他們讓參與者躺在功能性磁共振成像掃描器中,戴著一個 43 電極腦電圖耳機,同時觀看模擬的來球——一個點,它隨著移動而擴大,以營造球以每小時 80 英里以上的速度接近的印象。最初,他們測試了非運動員,要求他們在看到的球與他們被告知要尋找的球(快速球或滑球,滑球是曲線球)相符時按下按鈕。
後來,他們用哥倫比亞大學棒球隊的隊員進行了實驗,穆拉斯金說,與非運動員相比,隊員們在某些表明專業知識的大腦區域表現出更強的啟用。研究人員將在即將發表的論文中揭示球員和非球員之間反應時間和大腦活動位置的精確差異,這可以透過繪製與專家相比不活躍的大腦區域來幫助表現不佳的人。透過特定的練習刺激這些區域可以幫助落後者提高他們的球種識別能力和反應時間。
腦電圖資料還可以量化反應時間的變化,以便運動員可以跟蹤不同的訓練方法的效果如何。研究人員成立了一家初創公司 NeuroScout,以向運動隊推銷他們的分析結果。
通用解碼器
到目前為止,能夠解釋大腦訊號的演算法必須經過訓練才能識別每個人的特質,這個過程可能需要幾分鐘到幾小時,具體取決於任務。畢竟,即使是對相同刺激的反應,每個人的大腦和思維模式都是獨一無二的。“如果你很好地繪製了一個人的大腦圖譜,你就可以為這個人構建一個非常好的大腦解碼裝置,”加州大學伯克利分校的心理學家傑克·加蘭特說。“如果你在其他人身上嘗試,那個人的大腦是不同的,”所以它不會很好地工作,甚至根本無法工作。
研究人員希望建立更通用的演算法——這些演算法在使用和使用者之間幾乎不需要或根本不需要調整。這種通用大腦解碼器將大大減少實驗中的訓練時間,從而加快在各種情況下了解大量人群的神經活動的努力。更強大的軟體也很可能導致更可靠的腦電圖控制裝置。
大多數神經科學家都認為,有效的通用解碼器還需要數年時間才能問世。Emotiv 和 NeuroSky 等公司生產帶有少量電極的消費級 BCI 遊戲耳機和生物感測器,這些耳機和生物感測器可以在使用者之間共享,並且不需要很長時間進行校準。它們僅檢測最強的訊號,因此功能有限。另一個基本通用解碼器的例子在紐約市時代廣場探索中心展出,展期至 2015 年 1 月 4 日,漫威復仇者聯盟 S.T.A.T.I.O.N. 展覽讓粉絲能夠體驗類似於鋼鐵俠的互動式抬頭顯示器。當參觀者將額頭按在顯示器上時,一個三電極無線腦電圖感測器會啟用顯示器。該感測器還可以幫助使用者導航顯示器以觀看影片剪輯、玩遊戲並即時檢視他們的腦電波,儘管眼動追蹤感測器和軟體也輔助導航。該系統的構建具有冗餘性,以確保它能夠為參觀展覽的大量人群可靠地工作。
鋼鐵俠複雜的擴音飛行控制系統目前可能還遙不可及,但弗裡克和他的同事們在讓他們的系統起飛方面取得了進展。德國研究人員表示,他們正在減少模擬器軟體所需的訓練量——這是解鎖我們耳朵之間的黑匣子並將它的力量擴充套件到身體之外的一大步。
