本文發表於《大眾科學》的前部落格網路，反映了作者的觀點，不一定反映《大眾科學》的觀點
讓我先說明白：我不認為“超級智慧”人工智慧是未來幾代深度學習機器最緊迫的威脅。事實上，整個超級智慧的概念可能只不過是一個哲學上的“假設”。我們根本不知道這種東西是否真的可以被製造、開發或進化出來——在地球上或宇宙中的其他地方。
目前，我們甚至沒有一個令人信服的智慧定量理論。這個理論既能告訴我們智慧的真正含義（“哦，看，它能開啟一罐豆子”），又能告訴我們智慧實際上是如何隨著複雜性擴充套件的，以及是否存在理論上的最大值。
智慧可能遵循S型增長曲線（邏輯函式），就像許多自然（和非自然）現象一樣。邏輯函式或曲線可能以指數增長開始，但隨著事物飽和，然後趨於平緩或穩定。一個簡單的例子是理想化的人口增長，其中生物數量的快速增長與食物或資源的可用性相抵消，最終趨於平穩。
支援科學新聞業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們今天世界的發現和想法的具有影響力的故事的未來。
不難想象，對於智慧來說，可能確實存在指數增長的機制，但這將需要複雜性的指數增長，也許最關鍵的是效率、連線性、相互通訊以及部件（無論是生物的還是機器的）的資料流。因此，也不難看出，我們目前所知的智慧可能會飽和。
但是曲線的指數部分在哪裡？它是在我們前面，還是已經過去了？我們的機器，我們的人工智慧，會比我們想象的更早飽和嗎？我認為我們目前處於深刻的無知之中。就我們所知，人類智慧已經接近普遍可能的最大值。我懷疑答案只能來自實驗，或者來自對智慧的基本理論的發展。
因此，任何關於外星智慧是“超級智慧”代理人的提議，在這個階段都應該被視為挑釁性的猜測。事實上，我的猜測是，宇宙中最豐富的智慧型別更可能是“學者型”機器——我們目前像谷歌的AlphaGo及其後代這樣的專家的表親。
由於所有這些原因，我並不像擔心地球上的超級智慧人工智慧那樣擔心相對愚蠢的人工智慧，這些人工智慧的目的是（或附帶能力）操縱我們與資訊的關係；與事實，以及與我們感知的現實的關係。這可能是最大的威脅。
使用像對抗性學習這樣的技術，我們已經目睹了人工智慧可以模仿我們的聲音到接近完美的程度。類似的方法大概也可以應用於我們的寫作風格、簡訊和社交媒體帖子。偽造我們在照片中的外貌，或生成我們似乎做了我們從未做過的事情的影片也在醞釀之中（就像這個非凡的奧巴馬總統假片段）。
這些系統可能會走得更遠（如果它們還沒有，就很難跟上發展步伐）。為什麼不使用人工智慧生成完整的新聞報道或八卦專欄呢？好萊塢小報反正幾乎不需要事實，而主流新聞媒體有時似乎也效仿。
對於誤導我們任何人來說，都存在巨大的潛力。透過欺騙我們來竊取我們的個人詳細資訊，或建立一個備用版本的我們來進行任何形式的反社會甚至犯罪行為——讓我們成為報復或法律系統的目標。或者僅僅是操縱我們，使我們傾向於想要某些商品，或以某種方式投票，或相信某些事情。第一個福音派人工智慧將輕易超越最離譜的人類傳教士。
與假設的超級智慧（其動機難以想象）不同，使用人工智慧來剝削人或社會遵循著古老的模式。
從我們的原始人類祖先和表親開始交流和講故事的那一刻起，我們人類可以說一直在侵蝕我們自己的現實。一個好的爐邊故事可能有助於維護口頭歷史，或闡明道德和社會規則，幫助將凝聚力帶給我們的家庭和群體。但它可能，也許不可避免地，誤導、扭曲和操縱。
這種行為甚至不侷限於我們的“智慧”物種。欺騙在自然界中隨處可見。動物偽裝自己，或假裝成它們不是的東西——從模仿有毒物種的外觀到蓬起羽毛、鱗片或皮膚，或寄生地傾倒後代讓其他物種擔心。許多物種的雄性裝飾自己或建造誘人的結構，並訴諸徹底的詭計以努力傳播它們的基因。欺騙似乎和誠實一樣是達爾文選擇的一部分。誤導的能力中存在一定程度的進化適應性。
機器的情況似乎也好不到哪裡去，無論是透過設計還是透過它們自己的選擇壓力——如果輸贏是唯一重要的，那麼，小心點。
當然，正如物理學家尼爾斯·玻爾所說，好的預測非常難以做出，尤其是當它們是關於未來的預測時。但有一件事是肯定的，我們將要了解很多關於智慧可能在宇宙中任何地方採取的軌跡——假設我們完全可以看到真相。