傑克·加蘭特坐在加州大學伯克利分校實驗室裡的一把轉椅邊緣，目光緊盯著一臺正在試圖解碼某人想法的電腦螢幕。
螢幕的左側是加蘭特在腦部掃描期間向研究參與者展示的一段影片片段。螢幕的右側，計算機程式僅使用掃描的細節來猜測參與者當時正在觀看的內容。
在電影《結婚大作戰》的一個片段中，安妮·海瑟薇的臉出現了，她正與凱特·哈德森激烈地交談。演算法自信地用大字型標記出“女人”和“交談”的字樣。另一個片段出現——一個野生動物紀錄片中的水下場景。該程式難以識別，最終用小而試探性的字型給出了“鯨魚”和“游泳”的標籤。
支援科學新聞報道
如果您喜歡這篇文章，請考慮訂閱我們的獲獎新聞報道，以此來支援我們。 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
“這是一隻海牛，但它不知道那是什麼，”加蘭特說，他談論這個程式就像談論一個不聽話的學生。他解釋說，他們透過展示一系列影像和影片片段引起的大腦活動模式來訓練該程式。他的程式之前遇到過大型水生哺乳動物，但從未遇到過海牛。
世界各地的研究小組正在使用類似的技術來嘗試解碼腦部掃描，並破譯人們看到、聽到和感覺到的內容，以及他們記住甚至夢到的內容。
媒體報道表明，此類技術將讀心術“從幻想領域變為現實”，並且“可能會影響我們做幾乎所有事情的方式”。倫敦的《經濟學人》甚至告誡讀者“要害怕”，並推測科學家何時會承諾透過腦部掃描進行心靈感應。
《自然》播客：大腦解碼從06:21開始
儘管一些公司開始為市場研究和測謊等少數應用而追求大腦解碼，但科學家們對使用此過程來了解大腦本身更感興趣。加蘭特的團隊和其他人正在試圖找出這些不同的大腦模式的根本原因，並希望弄清楚大腦用來理解周圍世界的程式碼和演算法。他們希望這些技術能夠告訴他們關於大腦組織的基本原則，以及大腦如何編碼記憶、行為和情緒（參見“給初學者的解碼”）。
將他們的技術應用於圖片和電影的編碼之外，需要複雜性的巨大飛躍。“我不做視覺，因為它不是大腦中最有趣的部分，”加蘭特說。“我這樣做是因為它是大腦中最簡單的部分。這是我在死之前有望解決的大腦部分。” 但從理論上講，他說，“你基本上可以用這個做任何事情”。
超越斑點學
大約十年前，當神經科學家意識到他們使用功能性磁共振成像 (fMRI) 產生的腦部掃描中存在大量未開發的資訊時，大腦解碼技術開始興起。該技術透過識別正在被供氧血液餵養的區域來測量大腦活動，這些區域在掃描中會以彩色斑點的形式亮起。為了分析活動模式，大腦被分割成稱為體素的小盒子——三維等效於畫素——研究人員通常會觀察哪些體素對刺激（例如看到一張臉）的反應最強烈。透過丟棄來自弱反應體素的資料，他們得出結論，哪些區域正在處理人臉。
解碼技術會詢問腦部掃描中的更多資訊。他們不問哪些大腦區域對人臉的反應最強烈，而是使用強和弱的反應來識別更細微的活動模式。例如，早期的此類研究證明，物體的編碼不僅由一個小的非常活躍的區域進行，而是由一個分佈更廣泛的陣列進行。
這些記錄被輸入到一個“模式分類器”中，這是一種計算機演算法，它可以學習與每張圖片或概念相關的模式。一旦程式看到了足夠的樣本，它就可以開始推斷此人正在看或正在思考什麼。這超越了對大腦中斑點的對映。進一步關注這些模式，可以將研究人員從提出簡單的“大腦中的哪個位置”的問題，轉向測試關於心理過程性質的假設——例如，詢問多年來一直在爭論的記憶的強度和分佈。德克薩斯大學奧斯汀分校的 fMRI 專家羅素·波德拉克說，解碼技術使研究人員能夠測試來自心理學的現有理論，這些理論可以預測人們的大腦如何執行任務。“有很多方法可以超越斑點學，”他說。
在早期研究中，科學家們能夠證明，他們可以從這些模式中獲得足夠的資訊來判斷某人正在看的物體類別——例如，剪刀、瓶子和鞋子。“我們非常驚訝它能如此有效，”新罕布什爾州達特茅斯學院的吉姆·哈克斯比說，他領導了 2001 年的第一次解碼研究。
不久之後，另外兩個團隊獨立地使用它來證實人類大腦組織的基本原則。從對植入猴子和貓大腦的電極進行的研究中得知，許多視覺區域對邊緣的方向反應強烈，並將它們組合起來構建世界的影像。在人類大腦中，這些喜歡邊緣的區域太小，無法用傳統的 fMRI 技術看到。但是，透過將解碼方法應用於 fMRI 資料，當時都在倫敦大學學院的約翰-迪倫·海恩斯和傑蘭特·里斯，以及日本京都ATR計算神經科學實驗室的Yukiyasu Kamitani，與現在在田納西州納什維爾範德比爾特大學的弗蘭克·童，在 2005 年證明，邊緣圖片也觸發了人類非常具體的活動模式。研究人員向志願者展示了不同方向的線條——不同的體素鑲嵌圖告訴團隊此人正在看哪個方向。
邊緣在 2008 年變成了複雜的圖片，當時加蘭特的團隊開發了一種解碼器，可以識別受試者正在觀看的 120 張圖片中的哪一張——這比推斷影像屬於哪個通用類別或破譯邊緣要大得多。然後，他們更進一步，開發了一種解碼器，可以根據大腦活動生成參與者正在觀看的原始外觀的電影。
從 2006 年左右開始，研究人員一直在為各種任務開發解碼器：用於視覺意象，參與者在其中想象一個場景；用於工作記憶，他們在其中記住一個事實或數字；以及用於意圖，通常測試為加或減兩個數字的決定。現在在柏林伯恩斯坦計算神經科學中心的的海恩斯說，最後一個問題比解碼視覺系統更難，“意圖太多了——我們如何對它們進行分類？” 圖片可以按顏色或內容分組，但支配意圖的規則不容易建立。
加蘭特的實驗室初步表明了這項工作將會有多麼困難。研究人員使用一款名為反恐精英的第一人稱戰鬥主題影片遊戲，試圖檢視他們是否可以解碼向左或向右、追趕敵人或開槍的意圖。他們幾乎可以解碼出四處移動的意圖；但 fMRI 資料中的其他一切都被參與者在遊戲中被射擊或死亡時的情緒訊號所淹沒。加蘭特說，這些訊號（尤其是死亡）會覆蓋有關意圖的任何細微資訊。
夢境也是如此。Kamitani 和他的團隊今年早些時候在《科學》雜誌上發表了他們解碼夢境的嘗試。他們讓參與者在掃描器中入睡，然後定期叫醒他們，要求他們回憶自己看到的東西。該團隊首先嚐試重建夢境中實際的視覺資訊，但最終求助於詞語類別。他們的程式能夠以 60% 的準確率預測人們的夢境中出現的物體類別，例如汽車、文字、男人或女人。
Kamitani 說，夢境的主觀性使得提取更多資訊成為一項挑戰。“當我想起我的夢境內容時，我感覺自己看到了什麼，”他說。但夢境可能不僅僅涉及大腦的視覺領域，還涉及難以建立可靠模型的區域。
逆向工程
解碼技術依賴於大腦活動與外部世界之間可以建立相關性的事實。例如，如果您只想使用來自大腦的訊號來控制機器人手臂，那麼簡單地識別這些相關性就足夠了（參見《自然》497, 176–178; 2013）。但加蘭特和其他人想做更多的事情；他們希望回溯以找出大腦最初如何組織和儲存資訊——破解大腦使用的複雜程式碼。
加蘭特說，這並非易事。每個大腦區域都會從其他網路獲取資訊並將其組合在一起，可能會改變其表示方式。神經科學家必須事後找出在哪些點進行了哪些型別的轉換。與其他的工程專案不同，大腦的組合方式不一定符合人類思維和數學模型。 “我們不是在設計大腦——大腦是給我們的，我們必須弄清楚它是如何運作的，”加蘭特說。“我們實際上沒有任何數學來建模這些型別的系統。” 即使有足夠關於每個大腦區域內容的資料，也可能沒有現成的方程組來描述它們、它們之間的關係以及它們隨時間變化的方式。
英國劍橋MRC認知與腦科學研究中心的計算神經科學家尼古拉斯·克里格斯科特表示，即使是理解視覺資訊是如何編碼的也很棘手——儘管視覺系統是目前大腦中研究最透徹的部分（見《自然》502, 156–158; 2013）。他說：“視覺是人工智慧的難題之一。我們曾認為它比下棋或證明定理更容易。”但是，有很多問題需要解決：例如，成群的神經元如何表示像面孔這樣的東西；資訊如何在視覺系統中各個區域之間移動；以及代表面孔的神經程式碼是如何隨著這些移動而變化的。從下往上，逐個神經元地構建模型過於複雜，“沒有足夠的資源或時間以這種方式進行”，克里格斯科特說。因此，他的團隊正在將現有的視覺模型與大腦資料進行比較，以找出最合適的模型。
現實世界
設計一個可以在不同大腦之間泛化，甚至在同一大腦的不同時間都能泛化的解碼模型，是一個複雜的問題。解碼器通常是基於個體大腦構建的，除非它們計算的是一些相對簡單的東西，比如二元選擇——某人是看圖片A還是圖片B。但現在有幾個小組正在努力構建通用模型。“每個人的大腦都略有不同，” 領導其中一項工作的哈克斯比說。他表示，目前，“你只是無法很好地排列這些活動模式。”
標準化對於許多被談論的大腦解碼應用來說可能是必要的——那些涉及讀取某人隱藏的或無意識的想法的應用。儘管這些應用目前還不可能實現，但一些公司已經開始關注。海恩斯說，他最近被汽車公司戴姆勒的一位代表聯絡，詢問是否可以解碼測試物件在市場調查中隱藏的消費者偏好。原則上這是可行的，他說，但目前的方法無法確定某人最喜歡30種不同產品中的哪一種。他建議營銷人員暫時堅持他們所瞭解的。“我非常確定，使用傳統的市場研究技術，你會做得更好。”
一些希望為執法部門服務的公司也注意到了這一點。例如，加利福尼亞州聖地亞哥的 No Lie MRI 公司正在使用與解碼相關的技術，聲稱可以透過腦部掃描來區分謊言和真相。加州斯坦福大學的法學學者漢克·格里利在《牛津神經倫理學手冊》（牛津大學出版社，2011 年）中寫道，法律系統可以從更好的測謊方法、檢查記憶的可靠性，甚至揭示陪審員和法官的偏見中獲益。一些倫理學家認為，隱私法應將個人的內心想法和慾望視為私人資訊加以保護，但英國牛津大學的神經倫理學家朱利安·薩武列斯庫原則上認為部署解碼技術沒有問題。“人們對此感到恐懼，但如果以正確的方式使用，它將是巨大的解放。”他說，大腦資料與其他型別的證據沒有什麼不同。“我不明白為什麼我們應該優先考慮人們的想法而不是他們的話語，”他說。
海恩斯一直在進行一項研究，在該研究中，參與者參觀了幾所虛擬現實房屋，然後在參觀另一組房屋時進行腦部掃描。初步結果表明，該團隊可以識別出他們的受試者之前去過哪些房子。這意味著這種技術可能揭示嫌疑人是否曾到過犯罪現場。該結果尚未發表，海恩斯很快指出了在執法部門中使用這種技術的侷限性。如果一個人曾經在建築物裡，但不記得了呢？或者他們是在犯罪發生前一週去的呢？嫌疑人甚至有可能欺騙掃描器。“你不知道人們會如何應對反措施，”他說。
其他科學家也駁斥了透過解碼可以可靠地揭開被埋藏的記憶的說法。除此之外，你還需要一臺重達 15 公噸、價值 300 萬美元的 fMRI 機器，以及一個願意躺在裡面一動不動，並積極思考秘密想法的人。即使這樣，加蘭特說，“僅僅因為資訊在某人的腦海中，並不意味著它是準確的。”目前，心理學家有更可靠、更便宜的方法來探究人們的想法。“目前，找出某人將要做什麼的最好方法，” 海恩斯說，“就是問他們。”