生物反饋與吟遊詩人:亞歷克西斯·柯克首秀“指揮莎士比亞”

生存還是毀滅?幾個世紀以來,觀眾一直為這些不朽的臺詞所感動,與哈姆雷特的生存困境產生共鳴。威廉·莎士比亞是喚起人們強烈情感的大師,現在觀眾們有機會透過各種生物反饋技術反過來影響演出。

加入我們的科學愛好者社群!

本文發表於《大眾科學》的前部落格網路,反映了作者的觀點,不一定反映《大眾科學》的觀點


生存還是毀滅?幾個世紀以來,觀眾一直為這些不朽的臺詞所感動,與哈姆雷特的生存困境產生共鳴。威廉·莎士比亞是喚起人們強烈情感的大師,現在觀眾們有機會透過各種生物反饋技術反過來影響演出。

《指揮莎士比亞》於今晚首秀, 5月2日在倫敦的維多利亞和阿爾伯特博物館舉行,作為慶祝這位劇作家誕辰450週年活動的一部分。(詹-呂克·皮坎特指出,實際上,考慮到倫敦和洛杉磯(我釋出這篇文章的地方)的時差,它很可能已經首秀了。)這是亞歷克西斯·柯克的創意,他是普利茅斯大學計算機音樂跨學科研究中心 (ICCMR) 的音樂常駐研究員,也是普利茅斯海洋研究所的常駐作曲家。

多年來,柯克一直在創作巧妙的融合藝術與科學的多媒體表演作品,其中許多作品涉及某種形式的資料聲音化。例如,“陽光交響曲”將一棟標誌性的校園建築變成了一種由冉冉升起的太陽演奏的樂器,而“洞察力”則看到柯克(他患有一種稱為視後像的視覺疾病)透過 iPad 模擬他的幻覺,並將其轉換為聲音,與長笛演奏家進行“二重奏”。


關於支援科學新聞報道

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。


他還製作了一部短片《多重世界》,其中包含四個不同的劇本。來自現場觀眾的生物反饋讀數決定了觀眾體驗到的四個結局中的哪一個。他還創作了“雲霧室”,這是一首為小提琴和亞原子粒子而作的二重奏,這些粒子是透過一個工作雲霧室即時探測到的。攝像機記錄了宇宙射線的軌跡,並將其轉換為合成音樂,作為小提琴家的伴奏。

柯克從觀看帕特里克·斯圖爾特和伊恩·麥克萊恩等偉大的莎士比亞演員表演獨白的 YouTube 影片中獲得了他當前專案的靈感。誠然,莎士比亞式的措辭有時可能有些晦澀難懂,“但一位優秀的演員可以讓這種語言栩栩如生,”他在一週左右前與我聊天時告訴我。

他想將同樣的 эмоциональный 衝擊力帶入《指揮莎士比亞》,併為此目的聘請了吉爾福德音樂與戲劇學院的兩位應屆畢業生:梅蘭妮·赫斯洛普和詹姆斯·麥克。

柯克與莎士比亞學者彼得·海因茲合作,從《羅密歐與朱麗葉》、《麥克白》、《哈姆雷特》和《泰特斯·安德洛尼克斯》中選擇了 18 段莎士比亞獨白用於演出本身,這些獨白將根據他從四位預選觀眾成員那裡獲得的生物反饋進行混合和匹配。這四位觀眾將坐在特殊的椅子上,並配備各種生物感測器來監測他們的心率、皮膚電反應(GSR,或出汗)、肌肉緊張度和腦電圖讀數。他計劃透過播放一些純低頻正弦波來設定基線——在 32 赫茲左右時聽不見,但具有鎮靜效果。

雖然參與者會意識到這些附加元素,“我不希望它感覺像一個科學實驗,”柯克說。“它應該是一種強烈的戲劇體驗,並帶有一點點科學的點綴。”

為了解釋所有這些生物反饋,柯克借鑑了一種稱為效價/喚醒模型的工具,這是認知心理學中用於區分不同型別情緒反應的常用工具——量化地確定情緒反應是出了名的困難。(誠然,人類的情緒是豐富多樣的,跨越的維度遠遠超過區區兩個維度,但從統計學上講,喚醒和效價是最廣泛的通用類別。)

喚醒軸測量的是身體中與反應性心理狀態相關的生理反應,使用了柯克在《指揮莎士比亞》中使用的生物反饋工具型別。柯克的重點是喚醒,因為效價更難評估——甚至更難定義。

它涉及某種價值判斷,即,給定的情緒有多麼令人嚮往?例如,快樂和喜悅在效價軸上都會被認為是積極的情緒,但喜悅更強烈。因此,喜悅將是積極的高效價,而快樂將是積極的低效價。效價通常透過用其他觀察方法(如肢體語言或面部表情)補充生物反饋來測量——這些方法很容易被誤解。

在某種程度上,《指揮莎士比亞》只是柯克眾多古怪藝術嘗試中的最新一項,但它最終可能會反饋到他的研究中。首先,這些讀數將提高他構建的喚醒測量系統的準確性,並且從對人類情感運作方式獲得的任何見解都可能增強他正在進行的關於人工智慧的工作——特別是在情感計算領域,由此可以設計一種機器來檢測和響應使用者的情緒狀態。可以將其視為一種模擬的同理心。

為了進一步實現這一目標,他和他的同事正在開發一種用於音樂創作的生物反饋機器學習算法系統。“從某種意義上說,這有點像音樂藥丸,因為我們知道音樂的聲音會對人們的情緒和精神狀態產生多大的影響,”他說。這個想法是用聲音刺激人們,測量他們的大腦反應,並使用機器學習演算法來確定哪種生成的聲音或音樂最強烈地影響情緒反應。使用這些資料,“您可以根據某人的反應,設計出某人思維的情緒地圖。”

這也不是柯克的藝術第一次為他的科學提供資訊。幾年前,他招募了一位薩克斯管演奏家與活體人工智慧座頭鯨二重奏,模仿野外生物的歌曲。它在普利茅斯海洋研究所演出,很快引起了聖安德魯斯科學家的注意。現在有一個真正的科學研究合作專案,旨在利用這些資料進行進一步研究。

話雖如此,“我認為你可以永遠分析表演工具的屬性,”柯克說。“我想親身實踐,可以說,並在表演中實際使用它們。真正讓我興奮的是開發模型。” 期待看到柯克繼續模糊他的藝術和科學之間的界限——這對我們其他人來說意味著一場好戲。

© .