沒有人知道 ChatGPT 及其 人工智慧表親 將如何改變世界，其中一個原因是，沒有人真正瞭解它們內部發生了什麼。其中一些系統的能力遠遠超出了它們接受訓練的範圍——甚至它們的發明者也對原因感到困惑。越來越多的測試表明，這些人工智慧系統發展出了真實世界的內部模型，很像我們自己的大腦，儘管機器的技術有所不同。
布朗大學的埃莉·帕夫利克說：“為了讓它們變得更好、更安全或任何類似的東西，我們想要對它們做的一切，在我看來，如果我們不瞭解它們是如何工作的，要求我們自己去做似乎是一件荒謬的事情。”她是致力於填補這一解釋空白的研究人員之一。
在一個層面上，她和她的同事們非常瞭解 GPT（“生成型預訓練變換器”的縮寫）和其他大型語言模型或 LLM。這些模型依賴於一種稱為神經網路的機器學習系統。這種網路的結構鬆散地模仿了人腦中相互連線的神經元。這些程式的程式碼相對簡單，只佔幾個螢幕。它建立了一個自動校正演算法，該演算法根據對數千兆位元組網際網路文字的費力統計分析，選擇最有可能完成段落的詞。額外的訓練確保系統將以對話的形式呈現其結果。從這個意義上說，它所做的只是反芻它所學到的東西——用華盛頓大學語言學家艾米麗·本德的話來說，它是一個“隨機鸚鵡”。（這並不是要貶低已故的非洲灰鸚鵡艾利克斯，它理解顏色、形狀和“麵包”等概念，並有意識地使用相應的詞語。）但 LLM 也設法通過了律師資格考試，寫了一首關於希格斯玻色子的十四行詩，並試圖破壞使用者婚姻。很少有人預料到，一種相當簡單的自動校正演算法會獲得如此廣泛的能力。
支援科學新聞報道
如果您喜歡這篇文章，請考慮支援我們屢獲殊榮的新聞報道，方式是 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們當今世界的發現和想法的有影響力的故事的未來。
GPT 和其他人工智慧系統執行它們未受過訓練的任務，賦予它們“湧現能力”，這甚至讓那些通常對 LLM 的炒作持懷疑態度的研究人員感到驚訝。“我不知道他們是如何做到的，也不知道他們是否能像人類那樣更普遍地做到這一點——但他們挑戰了我的觀點，”聖塔菲研究所的人工智慧研究員梅蘭妮·米切爾說。
蒙特利爾大學的人工智慧研究員約書亞·本吉奧說：“它當然不僅僅是一隻隨機鸚鵡，它肯定構建了對世界的某種表徵——儘管我不認為它完全像人類構建內部世界模型的方式。”
在 3 月份紐約大學的一次會議上，哥倫比亞大學的哲學家拉斐爾·米利埃提供了 LLM 可以做的另一個令人震驚的例子。這些模型已經展示了編寫計算機程式碼的能力，這令人印象深刻，但並不太令人驚訝，因為網際網路上有太多程式碼可以模仿。然而，米利埃更進一步，表明 GPT 也可以執行程式碼。這位哲學家輸入了一個程式來計算斐波那契數列中的第 83 個數字。“這是非常高程度的多步驟推理，”他說。機器人成功了。然而，當米利埃直接詢問第 83 個斐波那契數時，GPT 卻答錯了，這表明該系統不僅僅是在鸚鵡學舌地模仿網際網路。相反，它是在執行自己的計算以得出正確答案。
儘管 LLM 在計算機上執行，但它本身並不是計算機。它缺乏基本計算要素，例如工作記憶。OpenAI 是一家科技公司，它的發明者預設 GPT 本身不應該能夠執行程式碼，因此後來推出了一種專門的外掛——ChatGPT 在回答查詢時可以使用的一種工具——使其能夠做到這一點。但米利埃的演示中沒有使用該外掛。相反，他假設機器透過利用其根據語境解釋詞語的機制來即興創作記憶——這種情況類似於自然界如何將現有能力重新用於新功能。
這種即興能力表明，LLM 發展出了一種超越膚淺統計分析的內在複雜性。研究人員發現，這些系統似乎真正理解了它們所學到的東西。在 5 月份在國際學習表徵會議上展示的一項研究中，哈佛大學的博士生肯尼斯·李和他的 AI 研究員同事——麻省理工學院的阿斯彭·K·霍普金斯；東北大學的大衛·鮑；以及哈佛大學的費爾南達·維埃加斯、漢斯彼得·普菲斯特和馬丁·沃滕貝格——建立了他們自己較小版本的 GPT 神經網路，以便他們可以研究其內部運作。他們透過以文字形式輸入長串的移動序列，在數百萬場奧賽羅棋比賽中對其進行了訓練。他們的模型成為了一位近乎完美的玩家。
為了研究神經網路如何編碼資訊，他們採用了本吉奧和蒙特利爾大學的紀堯姆·阿蘭在 2016 年設計的一種技術。他們建立了一個微型“探針”網路來逐層分析主網路。李將這種方法比作神經科學方法。“這類似於我們將電探針放入人腦，”他說。在 AI 的案例中，探針顯示其“神經活動”與奧賽羅棋盤的表示相匹配，儘管形式複雜。為了證實這一點，研究人員反向執行探針，將資訊植入網路——例如，將遊戲的一個黑色標記棋子翻轉為白色棋子。“基本上，我們侵入了這些語言模型的大腦，”李說。網路相應地調整了其移動。研究人員得出結論，它玩奧賽羅棋大致像人類一樣：透過在其“腦海”中保留一個棋盤，並使用該模型來評估移動。李說，他認為該系統學習這項技能是因為它是對其訓練資料最簡約的描述。“如果你得到大量的遊戲指令碼，試圖找出其背後的規則是壓縮的最佳方式，”他補充道。
這種推斷外部世界結構的能力不僅限於簡單的遊戲移動；它也出現在對話中。麻省理工學院的貝琳達·李（與肯尼斯·李無關）、麥克斯韋·奈和雅各布·安德烈亞斯研究了玩基於文字的冒險遊戲的網路。他們輸入了諸如“鑰匙在寶箱裡”之類的句子，然後是“你拿起鑰匙”。使用探針，他們發現網路在自身內部編碼了對應於“箱子”和“你”的變數，每個變數都具有擁有或不擁有鑰匙的屬性，並逐句更新這些變數。該系統沒有獨立的方式來了解什麼是箱子或鑰匙，但它提取了完成此任務所需的概念。“模型內部隱藏著某種狀態的表示，”貝琳達·李說。
研究人員驚歎於 LLM 能夠從文字中學到多少東西。例如，帕夫利克和她當時的博士生羅馬·帕特爾發現，這些網路從網際網路文字中吸收顏色描述，並構建顏色的內部表示。當他們看到“紅色”這個詞時，他們不僅將其視為一個抽象符號，而且將其視為一個與栗色、深紅色、紫紅色、鐵鏽色等具有特定關係的概念。證明這一點有些棘手。研究人員沒有將探針插入網路，而是研究了網路對一系列文字提示的反應。為了檢查它是否僅僅是在回 Echo 線上參考資料中的顏色關係，他們試圖透過告訴系統紅色實際上是綠色來誤導系統——就像舊的哲學思想實驗一樣，一個人的紅色是另一個人的綠色。系統沒有鸚鵡學舌地回答錯誤答案，而是適當更改了其顏色評估，以保持正確的關係。
機器學習研究員、微軟研究院的塞巴斯蒂安·布貝克接受了這樣一個觀點，即為了執行其自動校正功能，系統會尋找其訓練資料的潛在邏輯，他認為，資料範圍越廣，系統將發現的規則就越通用。“也許我們看到了如此巨大的飛躍，是因為我們已經達到了資料的多樣性，這種多樣性足夠大，以至於所有資料的唯一基本原則是智慧生物產生了它們，”他說。“因此，解釋所有資料的唯一方法是[模型]變得智慧。”
除了提取語言的潛在含義外，LLM 還可以即時學習。在 AI 領域，“學習”一詞通常保留給計算密集型過程，在該過程中，開發人員將神經網路暴露於千兆位元組的資料中，並調整其內部連線。當您在 ChatGPT 中鍵入查詢時，網路應該已經固定；與人類不同，它不應繼續學習。因此，令人驚訝的是，LLM 實際上確實從使用者的提示中學習——這種能力被稱為上下文學習。“這是一種以前沒有真正被理解存在的不同型別的學習，”AI 公司 SingularityNET 的創始人本·戈策爾說。
LLM 如何學習的一個例子來自人類與 ChatGPT 等聊天機器人的互動方式。您可以給系統提供您希望它如何響應的示例，它會服從。它的輸出由它看到的最後幾千個單詞決定。給定這些單詞，它所做的事情是由其固定的內部連線決定的——但單詞序列仍然提供了一些適應性。整個網站都致力於“越獄”提示，這些提示克服了系統的“護欄”——阻止系統告訴使用者如何製造管狀炸彈等限制——通常透過指示模型假裝是一個沒有護欄的系統來實現。有些人將越獄用於不正當目的，但其他人則部署它來引出更具創造性的答案。“我會說，它會比你直接問它，而不使用特殊的越獄提示，更好地回答科學問題，”佛羅里達大西洋大學機器感知與認知機器人實驗室的聯合主任威廉·哈恩說。“它在學術方面做得更好。”
另一種上下文學習型別是透過“思維鏈”提示發生的，這意味著要求網路詳細說明其推理的每個步驟——這種策略使其在需要多個步驟的邏輯或算術問題上做得更好。（但米利埃的例子如此令人驚訝的一件事是，網路在沒有任何此類指導的情況下找到了斐波那契數。）
2022 年，谷歌研究院和蘇黎世瑞士聯邦理工學院的一個團隊——約翰內斯·馮·奧斯瓦爾德、埃溫德·尼克拉松、埃託雷·蘭達佐、若昂·薩克拉門託、亞歷山大·莫德文采夫、安德烈·日莫吉諾夫和馬克斯·弗拉迪米羅夫——表明，上下文學習遵循與標準學習相同的基本計算程式，稱為梯度下降。此程式未被程式設計；系統在沒有幫助的情況下發現了它。“它需要是一項習得的技能，”谷歌研究院副總裁布萊斯·阿古埃拉·伊·阿卡斯說。事實上，他認為 LLM 可能還具有其他尚未被發現的潛在能力。“每次我們測試我們可以量化的新能力時，我們都會發現它，”他說。
儘管 LLM 有足夠的盲點而無法被定義為通用人工智慧或 AGI——動物大腦的智力——但這些湧現能力向一些研究人員表明，科技公司比樂觀主義者猜測的更接近 AGI。“它們間接地證明，我們可能離 AGI 不遠了，”戈策爾在 3 月份在佛羅里達大西洋大學舉行的深度學習會議上說。OpenAI 的外掛賦予了 ChatGPT 一種模組化架構，有點像人腦。“將 GPT-4 [為 ChatGPT 提供支援的最新版本的 LLM] 與各種外掛相結合，可能是一條通往類似人類的功能專業化的道路，”麻省理工學院研究員安娜·伊萬諾娃說。
然而，與此同時，研究人員擔心，他們研究這些系統的視窗可能正在關閉。OpenAI 沒有透露它如何設計和訓練 GPT-4 的細節，部分原因是它與谷歌和其他公司——更不用說其他國家——處於競爭之中。“可能行業界會減少開放研究，而事情將更加孤立，並圍繞構建產品進行組織，”麻省理工學院的理論物理學家丹·羅伯茨說，他將他的專業的技巧應用於理解 AI。
聖塔菲研究所的米切爾說，這種缺乏透明度不僅損害了研究人員。它還阻礙了人們努力瞭解採用 AI 技術的社會影響。“關於這些模型的透明度是確保安全的最重要的事情。”