如果(虛擬)現實感覺幾乎正確,那就完全錯了

如何在VR中新增觸覺可能會導致感覺的“恐怖谷”——以及我們能做些什麼

加入我們的科學愛好者社群!

本文發表於《大眾科學》的前部落格網路,反映了作者的觀點,不一定反映《大眾科學》的觀點


我們都記得我們令人愉快的黃色 2 號鉛筆稜角分明的邊緣,粉筆粉末黑板冰涼光滑的感覺,以及校舍牆壁粗糙的紅磚。當然,這一切不僅僅是幻覺吧?

不,當然不是。

但是——事實證明——它有點像是。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。


觸覺(實際上,我們所有的感官)或多或少是虛幻的,因為沒有一種感覺是孤立存在的。伸出手,打個響指。當然,這感覺非常真實。但是您看到了您的手指,聽到了您的手指,並且感覺到了您的手指——所有這些感覺都完全對應。

現在,如果它們不對應呢?

虛擬現實 (VR) 是揭示我們日常感官知覺的這種奇怪而超凡脫俗的基礎的絕佳工具。像我們這樣鬼鬼祟祟(但當然是非常道德的)實驗者可以渲染一個完全由計算機生成的世界。如果我們給您一對可以按命令振動的控制器,我們可以玩一些把戲。

我們甚至可以使用這個簡單的裝置來產生一種觸覺,這種觸覺“感覺就像”它起源於您伸出的雙手之間的完全空白的空間——我們在我們發表在最新一期科學機器人雜誌上的論文中討論了一個實驗

這種 VR 等價於嘉年華的把戲被稱為漏斗效應。每個控制器都為使用者提供不同幅度的同步振動觸覺刺激。在虛擬環境中,我們向參與者展示一個他們用雙手抓住的木製銷釘。當然,銷釘只是想象出來的——雙手沒有物理連線,銷釘也不存在。然後,我們展示一個小白球,當我們改變振動感覺時,它似乎在銷釘的不同位置敲擊。

圖 1:參與者手持虛擬現實控制器上的木製銷釘,同時獲得不同幅度的同步振動。結果是空間化的觸覺錯覺,一種“感覺就像”它起源於您伸出的雙手之間的完全空白的空間的觸覺。 來源:Mar Gonzalez-Franco、Christopher C Berger 和 Ken Hinckley

這就是變得奇怪的地方。即使觀看者看不到彈珠,觸覺的明顯空間位置也會持續存在。您的大腦會填補這些空白和不一致之處——您的手感受到的振動感覺,(有時是想象中的)小白球在兩者之間物理空白的空間中的銷釘上敲擊。一個恰好完全在您自己身體之外的特定空間位置。

圖 2:當彈珠可見(綠點)和彈珠不可見(紅點)時,參與者都能夠高度準確地估計觸覺的位置。來源:Mar Gonzalez-Franco、Christopher C Berger 和 Ken Hinckley

這是一個巧妙的感知錯覺,但它為什麼重要呢?

嗯,在虛擬環境(或機器人遠端操作任務)中,產生更高保真度的觸覺(即觸覺)感覺帶有一個(通常未說明的)假設,即這種“改進”將始終產生更真實和身臨其境的體驗。當彈珠是虛構的時,使用這種漏斗錯覺,我們可以證明觸覺感覺的“恐怖谷”效應,在我們實驗中產生的幾乎正確的扭曲觸覺感覺。

結果,它們完全錯了,沉浸感被打破了。

但是,可以透過巧妙地操縱實驗條件來轉移或消除這種恐怖谷。例如,如果銷釘看起來在一個煙霧繚繞的圓柱體內,從而部分遮擋了敲擊的(但不可見的)彈珠的位置,這為觸覺感知的感知位置與我們眼睛所見之間的任何差異提供了合理的解釋——並且模擬感覺更真實。

同樣,可以根據我們是僅僅握住虛擬銷釘——從而作為被動參與者體驗彈珠的敲擊——還是積極地上下移動銷釘,從而透過我們自己的動作成為感覺的“主體”來操縱感覺。

儘管目前在我們好奇的 VR 測試平臺中得到了證明,但這些效應根植於人類感知。因此,更深入地理解它們有助於我們構建更好、更具說服力的虛擬環境。

About Mar Gonzalez-Franco, Christopher C Berger and Ken Hinckley

Mar Gonzalez-Franco, PhD is a Researcher at Microsoft. Her work is at the intersection of Virtual Reality and Human Perception. In her research she fosters strong immersive experiences using different disciplines: computer graphics, computer vision, avatars and haptics. All while studying human behavior, perception and neuroscience. Follow her on Follow her on Twitter @twi_mar. Christopher Berger, PhD is a Neuroscientist at the California Institute of Technology working on developing novel sensory experiences using sensory augmentation and substitution devices by conducting and applying research that probes the basic psychophysical and neural mechanisms of sensory perception. Follow him on Twitter @c_c_berger. Ken Hinckley, Ph.D. is Principal Research Manager of the EPIC (Extended Perception, Interaction, and Cognition) research group at Microsoft Research. His work explores how to reduce the impedance mismatch between humans and technology. This often involves new ways of interacting with devices via sensors, multi-modal inputs, and rich sensory cues. Follow him on Twitter @ken_hinckley.

More by Mar Gonzalez-Franco, Christopher C Berger and Ken Hinckley
© .