線上社會科學:網路能否從數字培養皿升級為虛擬實驗室?

社會科學家鄧肯·瓦茨談到網路如何兌現其十年前的承諾,為研究人員提供前所未有的行為研究素材


關於支援科學新聞報道

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您將有助於確保未來能夠繼續講述關於塑造我們當今世界的發現和思想的具有影響力的故事。


在許多方面,網際網路都是終極的虛擬實驗室。社交媒體和新聞網站向隨便的觀察者展示了我們關注的重點和興趣,無論是美國持續不斷的“財政懸崖”政治談判的嚴峻預後,還是對英國皇室懷孕的歡欣鼓舞。社會科學家認為,除了這些膚淺的表象之外,網際網路還可以成為以空前的速度進行廣泛而廉價的研究實驗的工具。

鄧肯·瓦茨十多年來一直在研究網際網路對社會行為的影響,以及反之亦然。2001年,瓦茨和哥倫比亞大學的社會學家同事發表了他們的“小世界專案”的結果,這是一個電子郵件版本的社會學家斯坦利·米爾格拉姆1967年著名的“六度分隔”實驗,該實驗使用蝸牛郵件來測試地球上每個人與其他人之間都相隔大約六個人的鏈條的理論。2006年,瓦茨與一個研究團隊合作進行了音樂實驗室,這是一個線上實驗,說明了預測一首歌曲在不同聽眾群體中受歡迎程度的難度。

現在,瓦茨是微軟研究院紐約市辦公室的首席研究員,他專注於改進基於網際網路的研究方法,並尋找新的方法來更有效地利用網路作為眾包知識的工具。一個月前襲擊紐約市和美國東北部的超級風暴桑迪仍然歷歷在目,以及網路在協調應急響應和救災工作中成功和不成功的方式也讓他記憶猶新。

瓦茨說,網路可能對社會科學產生深遠的影響,因為它提供了前所未有的機會,讓人們願意參與實驗。他補充說,其中一個實驗可能是測試緊急情況下眾包資訊的價值和準確性,以及指導網路使用者在災難發生時如何最好地協調他們的資源。

大眾科學最近與瓦茨談論了網路革命性地改變社會科學的能力,為什麼為線上測試參與者支付更多錢並不能保證更準確的資料,以及如何在危機期間最大限度地利用眾包來評估地面上發生的情況。

[以下是採訪的編輯稿。]


您為什麼對網路作為進行社會科學實驗的工具如此感興趣?
網路為社會科學提供了新的機會,因為它極大地改變了執行實驗的成本結構、可以執行這些實驗的規模和速度,以及您可以納入受試者庫的人員的多樣性。

“小世界”和“音樂實驗室”教會了您關於進行基於網路的社會科學研究的哪些知識?
“小世界”和“音樂實驗室”是成功的,但在某些方面,它們也突出了線上進行實驗的難度。一個優勢是能夠招募成千上萬的人參與。支付那麼多參與者的費用將是令人望而卻步的,因此,實際上,我們不得不“遊戲化”我們的實驗,使其具有吸引力。這種方法導致了權衡。一方面,透過使研究對參與者來說有趣且具有吸引力,我們以非常低的成本進行了一些非常大的實驗。但最有趣的研究問題不一定適合有趣、引人入勝的遊戲,而反過來,大多數有趣的遊戲都太複雜,無法適應來自理論的清晰假設。另一個問題是,線上執行實驗也會遇到與抽樣和測量有關的某些方法論問題。我真的認為我們正處於所有這些虛擬實驗室式實驗的中間階段。

亞馬遜的 Mechanical Turk數字勞務市場(2005年推出)如何影響了線上研究?
Mechanical Turk的偉大之處在於,大多數任務都非常枯燥,所以我們不必太擔心讓我們的實驗變得有趣,或者像遊戲一樣,因為也許我們畢竟可以支付參與者報酬,即使我們只需要支付他們一點點報酬。

幾年前,與我的[前] 雅虎同事溫特·梅森合作,我們演示瞭如何使用 Mechanical Turk 進行行為研究,並使研究人員更容易從亞馬遜的平臺中受益(pdf)。我們研究了經濟激勵對參與者表現的影響。如果你付給人們更多的錢去做某項工作,這會如何影響他們的表現?[問題中的任務要求參與者將一組以兩秒間隔從交通攝像頭拍攝的影像按時間順序排列。] 我們發現,增加報酬會增加他們完成的工作量,但根本不會提高他們的表現質量。事實上,它主要增加的是他們認為自己應該得到多少報酬!

聽起來網路似乎是為用作研究環境量身定製的。它缺少什麼?
我們不斷發現,線上執行實驗的最大挑戰不是資料庫或使用者介面或用於設計網路的演算法。所有這些都很簡單明瞭。困難的部分實際上是以可靠的方式招募人員。我們向前推進的許多想法是如何建立更好的基礎設施,以透明且符合知情同意的通常原則的方式招募和跟蹤人員。

這聽起來像是您在更傳統的社會科學實驗中也會遇到的挑戰。網路難道不是讓招募參與者更容易了嗎?
在過去的幾個實驗中,我們招募了 100 人,並在不同的研究中一次使用了大約 20 或 30 人。但是,在六個月或一年後,當我們進行下一個實驗時,過去實驗中的所有人都已經離開了,因為 Mechanical Turk 領域的人員流動性很大。
實際上,這在實驗心理學和行為經濟學的歷史上是很典型的——你為你自己的實驗招募了一群人,他們進來參與,然後他們離開,你就再也聽不到他們的訊息了。

您如何使用 Mechanical Turk 和其他網路工具來改善這種情況?
我們希望建立更持久的受試者庫,或者我們稱之為線上研究受試者小組。一個想法是向他們支付保留費,以便他們在我們需要他們進行實驗時可用。然後您可以隨時向他們傳送參與請求,儘管他們沒有義務參與。這樣做的好處是——我們可以預先指定我們對特定型別的人感興趣,而不是像我們目前所做的那樣抓住碰巧在附近的人。這似乎是一件顯而易見的事情,但它需要構建一點基礎設施,以便您可以提出這類問題。一旦您建立了這些線上小組,並且他們參加了許多實驗,您就可以建立自定義樣本,不僅基於他們的人口統計資訊,還基於他們在過去實驗中的行為方式。

除了改進研究方法外,網路如何用於及時交付有意義的研究結果?
我對集體解決問題感興趣——即人群,甚至組織群體,如何解決複雜問題。我特別感興趣的一個例子是對危機情況(例如自然災害)的響應。當然,這是及時的,因為在紐約桑迪颶風過後,您有一整套組織——紐約警察局和消防局等地方機構,以及聯邦緊急事務管理局和美國紅十字會等國家機構——蜂擁而至試圖提供幫助。災難發生後,您立即面臨著關於地面上正在發生的事情的大量不確定性問題。急救人員通常積極性很高且善意,甚至可能在之前的災難中有很多經驗,但危機情況也有一種不同於過去的意外方式,因此您總是會遇到沒有人確切知道誰需要什麼、相關資源位於何處或如何協調救援工作的情況。

最近,一些志願者“危機地圖繪製”組織,例如待命工作隊 [SBTF],已經開始透過即時監控 Facebook、Twitter 和其他社交媒體、新聞報道等資訊來源,然後將這些報告疊加在地圖介面上,從而在危機情況下發揮作用,救援機構和受影響人群都可以使用該介面來提高他們對情況的理解。他們的努力確實令人鼓舞,他們從經驗中吸取了很多教訓。我們希望透過基於網路的危機響應演習來構建基於現實世界模型的模型,這些演習測試在災難期間和之後進行溝通和協調資源的最佳方法。

您將如何改進現有的危機地圖繪製工作?
這些危機地圖繪製者的努力確實令人鼓舞,像 SBTF 這樣的組織已經從艱苦的經驗中學到了很多關於如何更有效地運作的知識。與此同時,他們也遇到了他們模型的某些侷限性,他們的模型嚴重依賴於相對較少的敬業人士,他們很容易不堪重負或精疲力竭。我們希望透過以更科學的方式理解如何在不使系統任何部分過載的情況下擴大像 SBTF 這樣的資訊處理組織,來幫助他們。

您將如何在您一直描述的這種虛擬實驗室環境中做到這一點?
基本思想是將多組受試者放入模擬的危機地圖繪製演習中,系統地改變不同的組織方式,並測量他們集體處理相應資訊的速度和準確性。因此,對於任何給定的演習,組織者都會建立一個特定的災難場景,包括倒塌的電線、倒下的樹木、火災和被洪水淹沒的街道和房屋。然後,模擬將生成資訊流,例如即時推文流,類似於真實事件中發生的地面報告型別,但以可控的方式進行。

作為此演習的參與者,假設您正在監控 Twitter 提要或其他報告流,而您的工作是嘗試根據您正在閱讀的內容準確地重新建立組織者的災難地圖。例如,您正在檢視颶風桑迪期間與“#sandy”相關的所有內容的 Twitter 提要。從這些資訊中,您想要構建一張紐約和三州地區的地圖,該地圖顯示所有停電的地方、所有倒下的樹木的地方、所有發生火災的地方。

您當然可以嘗試自己做這件事,但隨著資訊流速度的增加,任何一個人都會不堪重負;因此,有必要讓一群人一起工作。但是,根據小組的組織方式,您可以想象他們會做得更好或更差。然後,實驗的目標將是衡量不同型別的組織(例如,具有不同的勞動分工或不同的管理層級)的績效,並發現哪些組織在您呈現的場景複雜性和資訊生成速率的函式關係中表現更好。這是我們現在正在努力構建的東西。

實施此類眾包災難地圖繪製演習的時間框架是什麼?
我們離做成這樣的事情還有幾個月的時間。我們仍然需要設定後勤保障,並正在與一位從事危機地圖繪製的同事交談,以更好地瞭解他們是如何做事的,以便我們可以以現實問題為動力來設計實驗。

您如何知道您的實驗何時為更好地管理災難響應創造了有價值的東西?
沒有理論說,這是組織 n 個人以可靠地處理最大資訊量的最佳方式。因此,理想情況下,我們希望設計一個足夠接近現實危機地圖繪製場景的實驗,以便它可以產生一些可操作的見解。但該實驗還需要足夠簡單和抽象,以便我們瞭解一些關於人群如何處理資訊的知識,這些知識可以推廣到危機地圖繪製的非常具體的情況之外。

作為一名科學家,我想以一種清晰、簡潔的方式識別因果機制,並將問題簡化到本質。但作為一名關心在現實世界中有所作為的人,我也希望能夠回到我那位危機地圖繪製的朋友身邊,並說我們做了實驗,這就是科學告訴您應該做的事情,以便更有效率。

© .