本文發表於《大眾科學》的前部落格網路，反映了作者的觀點，不一定代表《大眾科學》的觀點
編者注：“塌落的牆”會議是由“塌落的牆”基金會組織的年度全球性聚會，彙集了來自 80 個國家的具有前瞻性思維的個人。每年 11 月 9 日——柏林牆倒塌的週年紀念日——世界頂尖的 20 位科學家應邀來到柏林，展示他們當前的突破性研究。會議的目的是解決兩個問題：接下來要推倒的牆是什麼？這將如何改變我們的生活？以下文章的作者將在今年的“塌落的牆”聚會上發言。
小時候，我想最大限度地擴大我對世界的影響，所以我決定構建一個可以自我改進的人工智慧，它可以學習變得比我聰明得多。這將使我能夠退休，並讓人工智慧解決所有我無法解決的問題——並以人類無法實現的方式殖民宇宙，擴大智慧的領域。
所以我學習了數學和計算機。我極具雄心的 1987 年畢業論文描述了關於元學習程式的首個具體研究，這些程式不僅學習解決一些問題，而且還學習改進他們自己的學習演算法，僅受可計算性限制，以透過遞迴的自我改進來實現超級智慧。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們今天世界的發現和想法的具有影響力的故事的未來。
我仍然在為此努力，但現在更多人對此感興趣。為什麼？因為我們在實現這一目標的過程中創造的方法現在正在滲透到現代世界——一半的人類可以使用，每天使用數十億次。
截至 2017 年 8 月，現有的五家最有價值的上市公司是蘋果、谷歌、微軟、臉書和亞馬遜。它們都在大量使用自 1990 年代初期以來在我在德國和瑞士的實驗室開發的深度學習神經網路——特別是長短期記憶網路或 LSTM，這在我和我的同事塞普·霍克雷特、菲利克斯·格爾斯、亞歷克斯·格雷夫斯和其他由歐洲納稅人資助的傑出學生和博士後撰寫的幾篇論文中有所描述。起初，這樣的 LSTM 是愚蠢的。它一無所知。但它可以從經驗中學習。它有點受到人類皮層的啟發，人類皮層的超過 150 億個神經元平均與 10,000 個其他神經元相連。輸入神經元將資料（聲音、視覺、疼痛）饋送到其餘部分。輸出神經元觸發肌肉。思考神經元隱藏在兩者之間。所有神經元都透過改變定義神經元之間相互影響強度的連線強度來學習。
我們的 LSTM 情況類似，它是一種人工迴圈神經網路 (RNN)，在眾多應用中優於以前的方法。 LSTM 學習控制機器人、分析影像、總結文件、識別影片和手寫、執行聊天機器人、預測疾病和點選率以及股票市場、創作音樂等等。 LSTM 已成為現在所謂的深度學習的基礎，特別是對於順序資料（請注意，大多數真實世界的資料都是順序的）。
2015 年，LSTM 大大改進了谷歌的語音識別，現在已應用於超過 20 億部安卓手機。 LSTM 也是自 2016 年以來使用的新型、更出色的谷歌翻譯服務的核心。 LSTM 也存在於蘋果的 QuickType 和 Siri 中，幾乎覆蓋 10 億部 iPhone。 LSTM 還建立了亞馬遜 Alexa 的口語答案。
截至 2016 年，谷歌所有資料中心中用於推理的驚人計算能力中，幾乎有 30% 用於 LSTM。截至 2017 年，臉書每天使用 LSTM 進行高達 45 億次的翻譯——每秒超過 50,000 次。您可能一直在使用 LSTM。但我們的其他深度學習演算法現在也已提供給數十億使用者。
我們將我們基於 RNN 的方法稱為“通用深度學習”，以區別於由伊瓦赫年科和拉帕（1965 年）半個多世紀前在烏克蘭（當時是蘇聯的一部分）開創的多層前饋神經網路 (FNN) 中的傳統深度學習。與 FNN 不同，LSTM 等 RNN 具有通用、並行順序計算架構。 RNN 對於更受限制的 FNN 來說，就像通用計算機對於僅僅是計算器一樣。
到 1990 年代初期，我們（最初是無監督的）深度 RNN 可以學習解決許多以前無法學習的任務。但這僅僅是開始。每五年，計算機的價效比大約提高 10 倍。這種趨勢比摩爾定律還要古老；自從康拉德·楚澤在 1935-1941 年期間建造了第一臺可工作的程式控制計算機以來，它就一直存在，該計算機每秒可以執行大約一次基本運算。今天，75 年後，計算成本降低了約一百萬億倍。 LSTM 從這種加速中獲益匪淺。
今天最大的 LSTM 大約有十億個連線。推斷這一趨勢，在 25 年內，我們應該擁有相當便宜的、人類皮層大小的 LSTM，它具有超過 100,000 億個電子連線，這比生物連線快得多。幾十年後，我們可能會擁有廉價的計算機，其原始計算能力相當於地球上 100 億人腦的總和，而這些大腦加起來可能每秒執行不超過 1030次有意義的基本運算。而佈雷曼極限（1982 年）對於 1 公斤計算基質來說仍然比這大 1020 倍以上。上述趨勢在本世紀之前不會接近這個極限，儘管這仍然“很快”——一個世紀只是人類文明存在 10,000 年的 1%。
然而，LSTM 本身是一種監督方法，因此不足以實現真正的 AI，即在沒有老師的情況下學習解決最初未知環境中的各種問題。這就是為什麼三十年來我一直在發表關於更通用的 AI 的文章。
自 1990 年以來，我的一個特別關注點是無監督 AI，它們表現出我稱之為“人工好奇心”和創造力的東西。他們發明自己的目標和實驗，以弄清楚世界如何運作，以及可以在其中做什麼。此類 AI 可以使用 LSTM 作為子模組，學習預測行動的後果。他們不像奴隸一樣模仿人類老師，而是從不斷創造和解決自己新的、以前無法解決的問題中獲得獎勵，有點像玩耍的孩子，在此過程中變得越來越通用的問題解決者（流行語：PowerPlay，2011 年）。我們已經基於此構建了簡單的“人工科學家”。
從這項工作中推斷，我認為在不久的將來，我們將擁有一個 AI，它會逐步學習變得像小動物一樣聰明——好奇地、創造性地、持續地學習計劃和推理，並將各種各樣的問題分解為可以快速解決（或已經解決）的子問題。在開發出猴子水平的 AI 後不久，我們可能會擁有人類水平的 AI，其應用將真正無限。
這不會止步於此。許多發明自己目標的好奇 AI 將迅速改進自己，僅受可計算性和物理學的基本限制。他們會做什麼？太空對人類來說是充滿敵意的，但對適當設計的機器人來說是友好的，並且提供了比我們薄薄的生物圈更多的資源，生物圈接收到的太陽光不到十億分之一。雖然有些人工智慧將繼續對生命著迷，至少在他們沒有完全理解生命之前，但大多數人工智慧將對太空中機器人和軟體生命令人難以置信的新機遇更感興趣。透過小行星帶及其他地區無數的自我複製機器人工廠，它們將改造太陽系，然後在幾十萬年內改造整個銀河系，並在數十億年內改造可到達宇宙的其餘部分，而唯一阻礙它們的是光速限制。（人工智慧或其部分很可能透過無線電從發射器傳輸到接收器——儘管部署這些裝置將需要相當長的時間。）
這將與 20 世紀科幻小說中描述的場景截然不同，這些小說也以銀河帝國和智慧人工智慧為特色。大多數小說的情節都非常以人為中心，因此不切實際。例如，為了使銀河系中的遠距離與短暫的人類壽命相容，科幻小說作家發明了物理上不可能的技術，例如曲速引擎。然而，不斷擴張的人工智慧領域不會受到物理速度限制的任何問題。由於宇宙將繼續存在許多倍於其當前 138 億年的年齡，因此可能有足夠的時間到達宇宙的各個角落。
許多科幻小說都以單個人工智慧統治一切為特色。更現實的期望是，會存在種類繁多的 AI，它們試圖最佳化各種部分衝突（且快速演變）的效用函式，其中許多效用函式是自動生成的（我的實驗室在剛剛結束的千年裡已經進化出了效用函式），其中每個 AI 都在不斷努力生存並適應 AI 生態系統中快速變化的生態位，這些生態位由超出我們當前想象的激烈競爭和協作驅動。
有些人可能希望透過大腦掃描和“意識上傳”到虛擬現實或機器人中，成為這些生態系統中不朽的一部分，這是一個自 1960 年代以來在小說中討論的物理上合理的想法。然而，為了在快速發展的 AI 生態系統中競爭，上傳的人類意識最終將不得不改變到面目全非，在此過程中變成非常不同的東西。
因此，人類不會在智慧在宇宙中的傳播中發揮重要作用。但這沒關係。不要將人類視為造物的王冠。相反，將人類文明視為一個更宏大計劃的一部分，是宇宙走向更高複雜性的道路上的重要一步（但不是最後一步）。現在看來，宇宙已準備好邁出下一步，這一步堪比 35 億多年前生命的誕生。
這不僅僅是又一次工業革命。這是一個超越人類甚至生物學的新事物。有幸見證它的開始，併為其貢獻一份力量。
“塌落的牆”會議由德國聯邦教育和研究部、亥姆霍茲協會、羅伯特·博世基金會和柏林參議院資助。它得到了來自眾多國際一流大學和研究機構以及基金會、公司、知名人士和非政府組織的支援和建議。