藝術家神經網路

從類似致幻劑的 DeepDream 合成影像到引人入勝的風格遷移影片,視覺效果為進入機器學習世界提供了一個有趣的切入點

加入我們的科學愛好者社群!

本文發表於《大眾科學》的前部落格網路,反映了作者的觀點,不一定反映《大眾科學》的觀點


原始照片由 Jen Christiansen 拍攝。透過 Deep Dream Generator 進行轉換,基於 開原始碼

還記得去年夏天湧現的卷積神經網路藝術作品嗎?它們以類似致幻劑的 DeepDream 影像的形式出現,就像上面的那張一樣。受谷歌工程師團隊的部落格文章程式碼釋出的啟發,令人難忘的合成影像生成——也稱為盜夢空間主義,這是對與電影相關的網際網路迷因“我們需要更深入”的致敬——成為了人工神經網路的典型代表。

也許您也熟悉去年夏天的風格遷移示例。在“藝術風格的神經演算法”中,Leon Gatys、Alexander Ecker 和 Matthias Bethge 將其描述為一個系統,該系統“使用神經表示來分離和重組任意影像的內容和風格,為藝術影像的創作提供神經演算法。” 想象一下,您的度假照片以巴勃羅·畢加索的風格呈現,或者萊昂納多·達·芬奇的蒙娜麗莎以文森特·梵高的星夜的風格繪製。您可以在藝術家和程式設計師 Gene Kogan 的部落格文章“機器與隱喻”中直接看到該示例。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保有關當今塑造我們世界的發現和想法的具有影響力的故事的未來。


上個月,在他的演講“神經美學”中,在明尼阿波利斯的 Eyeo 藝術節上,Kogan 回顧了盜夢空間主義、風格遷移和其他涉及視覺輸出的機器學習方法背後的基本概念和過程。然後,他提高了賭注——並讓我大開眼界——展示了一系列神奇的動態影像。基於 Manuel Ruder、Alexey Dosovitskiy 和 Thomas Brox 在“影片的藝術風格遷移”和 他們的程式碼中描述的方法,Kogan 開發了一系列風格遷移影片,這些影片根植於他在紐約 J 線火車窗外拍攝的鏡頭。以下是一些片段的預覽。第一個以梵高的星夜風格渲染影片。第二個以谷歌地圖影像渲染它。

Kogan 指出,他對“更廣泛意義上的風格遷移很著迷——在音訊領域、文字或其他型別的媒體中應用類似的技術。風格對我們來說是如此抽象的概念,這就是為什麼演算法推斷它如此有趣,即使它不美觀。如果他們可以捕捉風格,他們還能理解哪些其他無形的東西?” 有關靜態和影片風格遷移的更多示例,以及近乎即時的風格遷移“鏡子”(!)請參閱 Kogan 的網站。 

有關深度學習工作原理的一些視覺化解釋,請檢視“揭示深度學習的隱藏層。” 對您來說太基礎了嗎?然後繼續閱讀 藝術家機器學習(Kogan 和 Francis Tseng 正在開發的資源)以及 Kogan 的 紐約大學課程筆記和影片。有關更多來自《大眾科學》頁面的內容,請參閱 Yoshua Bengio 的“人工智慧的春天:深度學習的興起”。與 Bengio 的“大規模機器學習”影片搭配觀看效果更佳。

Jen Christiansen 是《構建科學圖形:透過圖表和視覺化傳達科學的圖解指南》(CRC Press 出版社)一書的作者,也是《大眾科學》的高階圖形編輯,她在該雜誌中指導並製作圖解說明圖和資料視覺化。1996 年,她在紐約市《大眾科學》開始了她的出版生涯。隨後,她搬到華盛頓特區,加入了《國家地理》的工作人員(最初擔任助理藝術總監兼研究員的混合職位,然後擔任設計師),花了四年時間擔任自由科學傳播者,並於 2007 年重返《大眾科學》。Christiansen 的演講和寫作主題廣泛,從調和她對藝術和科學的熱愛,到她探索 Joy Division 專輯《Unknown Pleasures》封面上脈衝星圖的奧秘。她擁有加州大學聖克魯茲分校的科學傳播研究生證書,以及史密斯學院的地質學和工作室藝術學士學位。在 Bluesky 上關注 Christiansen @jenchristiansen.com

更多作者:Jen Christiansen
© .