Alexa 如何學習

研究人員正在尋找新方法來幫助語音服務提高其效能

加入我們的科學愛好者社群!

本文發表於《大眾科學》的前部落格網路,反映了作者的觀點,不一定反映《大眾科學》的觀點。


在過去的 10 年裡,商業人工智慧享受了我們在亞馬遜所說的飛輪效應:客戶與人工智慧系統的互動產生資料;隨著資料的增加,機器學習演算法表現更好,從而帶來更好的客戶體驗;更好的客戶體驗推動了更多的使用和參與,反過來又產生了更多的資料。

這些資料主要透過三種方式用於訓練機器學習系統。第一種是監督學習,其中訓練資料是手動標記的(例如,單詞的詞性或影像中物體的名稱),系統學習將標籤應用於未標記的資料。 其變體是弱監督學習,它使用容易獲得但不精確的標籤來實現大規模機器學習。 例如,如果網站訪問者執行搜尋,她點選的連結表明哪些搜尋結果應該位於列表的頂部; 這種隱含資訊可用於自動標記資料。

使用完全未標記的資料進行訓練稱為無監督學習。 其中,最常見的方法是根據結構特徵將資料聚類在一起;聚類本身定義了分類類別。 最後,半監督學習利用少量標記的訓練資料,從更大的未標記訓練資料儲存中提取資訊。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞事業: 訂閱。 透過購買訂閱,您正在幫助確保關於塑造我們當今世界的發現和思想的具有影響力的故事的未來。


在最近的人工智慧研究中,監督學習占主導地位。 但是今天,商業人工智慧系統產生的客戶互動遠遠超過我們可以手動標記的數量。 繼續保持商業人工智慧迄今為止實現的快速改進速度的唯一方法是,將我們自己重新定位到半監督、弱監督和無監督學習。 我們的系統需要學習如何自我改進。

半監督學習最常見的方法是自訓練,其中在少量標記資料上訓練的機器學習系統本身將標籤應用於更大的未標記資料集。 因為機器學習系統是統計性的,所以它們的輸出具有相關的置信度分數。 系統的輸出根據置信度分數進行排序,落在正確置信度視窗內的輸出用於進一步訓練系統。 換句話說,系統在它自己標記的資料上重新訓練。

通常,自訓練在具有高置信度訓練示例時效果最佳。 但在某些情況下,亞馬遜研究人員發現,較低置信度的示例可以提供更大的效能改進,因為它們更可能捕獲系統尚未學習的細微差別。

另一種利用少量標記資料的方法是將它們與未標記資料放在一起,並將某種無監督聚類演算法應用於結果。 例如,句子可以自動嵌入到高維空間中,在其中根據其組成詞與其它詞共同出現的頻率進行分組。 然後,演算法可以將標記句子的標籤推廣到同一叢集中的未標記句子,從而極大地擴充套件了自然語言理解系統可用的訓練示例數量。

依賴機器學習進行即時資料分類的公司還有另一種半監督訓練選項。 那就是使用標記資料來訓練一個功能強大但速度慢得不切實際的神經網路,然後使用該網路為更精簡、更高效的即時網路標記訓練資料。 亞馬遜研究人員正在各個業務部門中使用這種方法。

通常,人工智慧公司還可以使用客戶反饋來自動標記資料。 例如,Amazon.com 上與產品評論相關的數字(星級)評分可以為弱監督機器學習系統提供自動資料標籤,該系統試圖從語言線索中推斷客戶情緒。

Amazon Alexa 語音服務的客戶通常不會對 Alexa 對單個請求的響應進行評分,但他們與 Alexa 的互動確實提供了有用的隱含訊號。 如果 Alexa 對請求的初始響應不令人滿意,客戶可能會中斷響應並重新措辭請求。 如果允許對重新措辭的請求的響應播放完畢,則這是一個強烈的訊號,表明第一個請求應該引發相同的響應。

Alexa 每月自動分析大量此類重新措辭的請求,學習如何重寫其中最常見的請求。 這就是為什麼,例如,如果您對 Alexa 說“播放 Magic Dragons 的 ‘Radioactive’”,她會回答“正在播放 Imagine Dragons 的 ‘Radioactive’”。

目前,Alexa 的重寫程式是通用的:任何請求 Magic Dragons 音樂的人都有相同的可能性收到 Imagine Dragons 的音樂。 但底層技術可以進行調整,以便為客戶提供個性化的查詢響應。 例如,在許多許多請求 Imagine Dragons 音樂的客戶中,可能有一些人實際上是在尋找 Magic Dragons,即前 Ipswich 斯普雷德鷹酒吧週三晚間的駐場樂隊。

亞馬遜研究人員正在探索許多其他用於進行無監督學習的技術,從監控雲伺服器的普通執行引數以識別異常;到使用 Amazon.com 產品層級結構來建立客戶產品搜尋之間的聯絡;到透過將文字自動翻譯成具有現有機器學習系統的語言,使用這些系統標記文字,然後將標記的文字自動翻譯回目標語言,從而在新的語言中引導自然語言理解系統。

商業人工智慧的承諾是大規模機器學習的承諾。 但這不僅僅是將更多資料投入到現有問題中。 越來越重要的是,它還意味著找到巧妙的方法來有效地使用這些資料,而無需人工干預。

© .