大多數孩子在兩歲時，可以理解大約 300 個詞。到四歲時，平均詞彙量已膨脹到超過 1,000 個詞。我們人類快速掌握詞語的驚人能力尚未完全被理解。一些認知科學家和語言學家推測，人們天生具有內在的期望和邏輯約束，使這成為可能。然而，現在的機器學習研究表明，預先設定的假設對於從最少的資料中快速掌握詞義來說並非必要。
一個由認知科學家和計算機科學家組成的團隊成功地訓練了一個基本的人工智慧模型，僅使用 61 小時的自然場景錄影和聲音，就將影像與詞語匹配起來——這些錄影和聲音是 2013 年和 2014 年從一個名叫薩姆的孩子的第一視角拍攝的。這項研究於週四發表在《科學》雜誌上，使用了薩姆在 6 至 25 個月大時斷斷續續佩戴的頭戴式攝像頭錄製的影片和轉錄音訊。雖然這只是孩子生活的一小部分，但顯然足以促使人工智慧弄清楚某些名詞的含義。
研究結果表明，語言習得的方法可能比之前認為的更簡單。斯基德莫爾學院心理學副教授 傑西卡·沙利文 說，也許孩子們“不需要定製的、花哨的、特定於語言的機制”來有效地掌握詞義。沙利文研究語言發展，她沒有參與這項新的研究，但她和其他人制作了這項工作中使用的 影片資料集。“這是一項非常出色的研究，”她說，因為它提供的證據表明，來自孩子世界觀的簡單資訊足以啟動模式識別和詞語理解。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您將幫助確保關於塑造我們今天世界的發現和想法的有影響力的故事的未來。
這項新研究還表明，機器有可能以類似於人類的方式學習。大型語言模型，如 GPT-4（ChatGPT 背後人工智慧的最新版本），是在海量資料上訓練的，這些資料可能包括數十億甚至數萬億的詞語組合。該論文的主要作者、紐約大學計算認知研究員 Wai Keen Vong 說，人類僅需少幾個數量級的資訊就能做到這一點。有了正確型別的資料，機器和人類學習之間的差距可能會大大縮小。
該研究的資深作者、紐約大學心理學和資料科學副教授布倫丹·萊克也表示贊同。“今天的模型不需要像它們所獲得的那麼多輸入，就能做出有意義的概括，”萊克說。“我們首次證明，你可以訓練人工智慧模型透過一個孩子的眼睛和耳朵來學習詞語。”
萊克、Vong 和他們的同事從一個通用的多模態機器學習模型開始，該模型由一個視覺編碼器和一個文字編碼器組成。同步的神經網路共同將影像和書面語言翻譯到同一數學空間，供人工智慧解釋。研究人員將 61 小時的薩姆頭戴式攝像頭錄影以靜止幀的形式輸入到他們的模型中，並配以隨附音訊的轉錄文字。由於攝像頭只是記錄了薩姆所見所聞，因此資料集看起來很混亂且有些隨意。它包含看護人直接與孩子說話的例項，以及其他人之間的背景對話。音訊片段通常沒有直接描述場景或物體。儘管如此，薩姆和人工智慧模型都設法收集了詞義。
在多項測試中，該模型正確地將許多詞語與相應的影像匹配起來。它也接近另外兩個人工智慧模型的準確性基準，這兩個模型都接受了更多語言資料的訓練。在一項評估中，科學家們向他們的基本模型展示了來自訓練集的四張影像批次，並要求它指出哪一張包含特定物體，例如球。人工智慧的準確率約為 62%（遠高於人工智慧隨機猜測的 25% 準確率）。研究人員還使用來自薩姆記錄庫的新物體影像測試了他們的模型——該模型仍然能夠正確識別許多這些物體，這證明了它概括所學內容的能力。“我們對此感到非常驚訝，”Vong 說。
這項研究建立在過去機器學習和人類認知的研究基礎上。印第安納大學布盧明頓分校心理學和腦科學教授 琳達·史密斯 說，以前的人工智慧研究使用來自多個孩子的資料來訓練模型，過去的兒童發展心理學實驗評估了單個孩子的經歷。史密斯說，雖然薩姆的資料集也已在其他研究中使用過，但這項新工作是“對科學的真正貢獻”。
沙利文表示贊同。“我曾是認為學習語言的問題無限複雜，並且在沒有一些特定的機制內置於你的大腦中的情況下，不可能學習一個詞的含義的人之一，”她說。但這項研究已經改變了她的看法。“現在我看到，至少在一種情況下，這是可能的。”
然而，這項新研究的揭示仍然存在重要的侷限性。首先，科學家們承認，他們的發現並不能證明孩子們是如何獲得詞語的；這項研究僅表明機器可以做到什麼——以及人類也可能做到什麼。史密斯說，雖然“這是一個優雅的演示”，但這不足以證明孩子學習語言時發生了什麼。她補充說，除了簡單的模式識別之外，其他因素仍然可能有助於人類學習。雖然該模型設法掌握了數十個詞語，但仍有許多詞語它無法理解。例如，它非常擅長正確識別“沙子”和“汽車”，但在識別“手”和“房間”方面與隨機猜測相似或更差。萊克指出，這些怪癖與兒童學習最快的詞語型別不符，這表明該模型具有非人類的特性。
此外，該研究僅側重於識別物理物體的名詞。蒙特利爾人工智慧研究所 Mila 的計算語言學研究員伊娃·波特蘭斯說，人類的語言學習比這複雜得多。語言還涉及動詞、結構和抽象概念，孩子們從自己的經驗中很早就開始掌握這些概念。這項研究並未證明人工智慧可以使用研究模型訓練的有限資料做到同樣的事情。
波特蘭斯說，儘管如此，這仍然是朝著更深入地理解我們自己思想邁出的一步——這最終可以幫助我們改進人類教育。她指出，人工智慧研究不必僅僅是為了最大限度地提高機器人的能力和企業利潤；它還可以為長期以來懸而未決的關於我們自身的問題帶來清晰的認識。“我們可以以一種好的方式使用這些模型：造福科學和社會，”波特蘭斯補充道。