魔力手指:雙手深入多點觸控技術

Perceptive Pixel 首席科學家傑斐遜·漢恩對改變人們使用計算機的方式有著宏大計劃


關於支援科學新聞報道

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道: 訂閱。透過購買訂閱,您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和想法的具有影響力的故事。


在曼哈頓西區的 Perceptive Pixel 辦公室,傑斐遜·漢恩站在一個超大多點觸控螢幕前,用指尖劃過顯示屏。每個手指都在其身後留下一道彩色畫素的軌跡,使得顯示屏短暫地看起來像是被一組數字爪子抓過一樣。

漢恩於 2006 年創立了 Perceptive Pixel 公司,並擔任公司的首席科學家。接下來,他用食指在 100 英寸的顯示屏上畫了一個圈。這會在螢幕上彈出一個選項選單,與使用滑鼠點選下拉選單沒有太大區別。當然,漢恩不需要滑鼠或鍵盤。他選擇了他選單中的一個選項,這些選項排列成一個類似於他畫出的圈的形狀,然後他就開始操作了。

Perceptive Pixel 的技術最出名的是它在幫助有線新聞網路 CNN 建立其 “魔力牆” 中所起的作用,“魔力牆”是 2008 年總統選舉期間該網路報道投票結果時使用的動態、即時的圖形化呈現。雖然漢恩承認多點觸控在諸如蘋果 iPhone 等小工具層面“很有趣”,但只有當您能夠用雙手操作顯示屏上的物件時,這項技術才能真正發揮其作用。

建立使多點觸控正常工作的軟體是開發這些系統中最困難的部分。“介面本身就是一種正規化轉變,”他說。“你不能只是把軟體硬塞到現有的硬體上。” 因此,漢恩和他的同事們基本上為觸敏技術建立了新的作業系統,該系統可以識別無限數量的觸點——理想情況下,允許多個使用者同時操作同一個顯示屏。

我們與漢恩坐下來,討論了他對多點觸控技術的看法、它與消費電子裝置製造商提供的技術有何不同,以及這項技術的未來發展方向。

[以下是經過編輯的採訪記錄。]是什麼促使您開始研究和開發多點觸控感測技術? 使用者與計算機的介面,而不是後端處理能力,已經成為使用者的瓶頸,使用者透過吸管(滑鼠和鍵盤的形式)訪問資訊。輸入需要更多關注,但向人們強加新的介面非常困難。儘管如此,當您看到計算出現在更多地方時,人們意識到您可以要求更多,而不僅僅是鍵盤。儘管我非常討厭[電影]少數派報告,但它對人們意識到計算不僅僅是一次只做一件事,您也可以伸出另一隻手並使用它產生了一些影響。接近新介面的一種方法是問:“孩子會怎麼使用這個?”
  您的多點觸控工作如何建立在您之前在計算機圖形學、機器學習、即時計算機視覺和人機介面領域的研究之上? 我的興趣在於視覺,這真的是我開始程式設計,特別是計算機圖形學的原因。圖形學最近已經大大轉向機器學習,而機器學習本身是關於理解資料的。這就是計算機視覺工作來源的地方。計算機視覺是計算機圖形學的逆問題。不是告訴計算機世界的狀態是什麼,而是計算機必須[例如,使用視覺線索]弄清楚。您如何讓計算機理解場景?您如何清理計算機接收到的感測器資訊?這樣做需要使用強大的工程和數學元件。
智慧手機、平板電腦和其他消費電子產品的未來與多點觸控感測技術的進步有多密切的聯絡? 由於硬體已經變得相當不錯,硬體本身不再是差異化的因素;關鍵在於設計(終於)。如果您觀察像索尼和三星這樣的公司的成長,他們首先關注功能,然後是工業設計,這使他們的產品看起來和感覺更好。現在我們正處於軟體層面的工業設計階段。
  多點觸控感測在哪些方面幫助人們更好地利用消費電子產品的進步? 消費裝置仍然沒有充分利用多點觸控的所有功能。去年 12 月,微軟讓許多 PC 公司在其產品中添加了多點觸控功能,以配合 Windows 7 的釋出。但是他們不應該在沒有充分利用[多點觸控介面]的方式的情況下發布這些裝置。這正是平板電腦消亡的原因。
  Perceptive Pixel 的多點觸控技術是如何工作的? 這是一種光學技術。在光纖中,電纜是光導管或波導,您將光注入其中。如果手指按壓管道,它會擾亂波導內的光。[Perceptive Pixel 的]大型顯示屏有一個大的平面波導。每當我們的螢幕被觸控時,這會在波導上[在顯示屏上的特定位置]引起擾亂或“受抑全反射”,感測器會拾取到這種擾亂。這種型別的感測器設計具有特別高的解析度、高保真度和相當的可擴充套件性。
  Perceptive Pixel 的技術與蘋果在其 iPhone、iPod Touch 和 iPad 中使用的技術相比如何? 有很多不同的方法可以進行觸控感應。在 iPhone 中,他們測量顯示屏頂部導線網格之間的電容。當您將手指放在那裡時,它會改變導線交叉點處的電容。這很微妙但可以很容易地測量。這種方法更難擴充套件,並且不適用於任意手寫筆或當您戴著手套時。
  在為多點觸控開發裝置製造商可以達成一致的通用標準方面取得了多大進展? Windows 7 嘗試建立一種標準,規定如何將資料從硬體傳輸到軟體,但還需要做更多工作。更廣泛的問題是,我們如何為用作多點觸控一部分的模式制定標準?這樣的標準意味著您將在每個多點觸控裝置上使用相同的手勢。這將是一個我相信不會透過有組織的運動來解決的問題。更有可能透過特定技術例項的統治地位來解決。
  CNN 在 2008 年總統選舉的報道中廣泛使用了您的多點觸控螢幕。您與 CNN 的關係是如何建立的?您對這項技術在 CNN 的使用有何看法? 我在一次地理情報貿易展上遇到了 CNN。我們最初的工作重點是地圖繪製,CNN 建立了聯絡,並希望將其用於他們即將到來的選舉報道,當時距離選舉還有一年多的時間。我為 CNN 使用這項技術的方式感到非常自豪——他們將其作為幫助他們報道選舉的工具,而不是讓技術本身成為目的。[CNN 記者]約翰·金能夠像老師在教室裡一樣使用顯示屏。金最終做出的最偉大的事情之一是即使在他不上鏡頭時也在顯示屏上工作。
目前多點觸控技術有哪些侷限性? 一個領域是顯示屏尚不知道哪個接觸點來自哪個使用者。目前,如果您在一個大螢幕上工作,有人可能會走到您旁邊並干擾您正在進行的工作。現在我們必須依靠社會習俗[想想個人空間]來避免這種情況。我們希望能夠了解每個人如何使用顯示屏。關鍵是要更多地瞭解觸控點,而不僅僅是實際的觸控。

© .