19世紀中葉，工業革命推動的城市快速發展造成了緊迫的社會和環境問題。城市透過建設集中式網路來應對，以輸送清潔的水、能源和安全的食物；促進商業、便利交通和維持秩序；並提供醫療保健和能源。今天，這些超過一個世紀曆史的解決方案正變得越來越不充分。我們的許多城市都交通擁堵。我們的政治機構陷入僵局。此外，我們還面臨著一系列新的挑戰——最值得注意的是，在防止全球變暖最壞影響的同時，養活和安置預計將增加20億人口的人口。
這些獨特的21世紀問題需要21世紀的思維方式。然而，許多經濟學家和社會科學家仍然使用啟蒙時代的觀念（如市場和階級）來思考社會系統——這些簡化的模型將社會互動簡化為規則或演算法，而忽略了個人人類的行為。我們需要更深入地研究，考慮到社會互動的細微細節。被稱為大資料的工具為我們提供了實現這一目標的手段。
數字技術使我們能夠研究數十億次的個人交流，人們在其中交易想法、金錢、商品或八卦。我在麻省理工學院的研究實驗室正在使用計算機來研究這些交流中的數學模式。我們已經發現，我們可以開始解釋以前神秘的現象——金融崩潰、政治動盪、流感大流行。資料分析可以為我們提供穩定的金融系統、運轉良好的政府、高效且負擔得起的醫療保健等等。但首先，我們需要充分認識到大資料的力量，併為其正確使用構建框架。跟蹤、預測甚至控制個人和群體行為的能力是普羅米修斯之火的經典例子：它可以用於善，也可以用於惡。
關於支援科學新聞業
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。透過購買訂閱，您正在幫助確保有關塑造我們今天世界的發現和想法的有影響力的故事的未來。
數字面包屑的預測能力
當我們進行日常生活時，我們會留下虛擬的麵包屑——我們打電話的人、去的地方、吃的東西和購買的產品的數字記錄。這些麵包屑比我們選擇透露的任何關於我們自己的資訊都能更準確地講述我們的生活。我們的 Facebook 狀態更新和推文傳遞了我們選擇告訴人們的資訊，並根據當今的標準進行了編輯。相比之下，數字面包屑記錄了我們實際發生的行為。
我們是社會動物，我們的行為永遠不會像我們想象的那麼獨特。您打電話、發簡訊和共度時光的人——甚至您在附近認出但從未正式見過的人——在各方面都可能與您相似。我和我的學生可以透過檢查您吃飯的餐廳和您交往的人群來判斷您是否可能患上糖尿病。我們可以使用相同的資料來預測您傾向於購買的衣服型別或您償還貸款的傾向。因為當我們感覺自己生病時，我們的行為會發生變化——我們去不同的地方，買不同的東西，給不同的人打電話，並在網上搜索不同的詞——現在可以使用資料分析來製作一個不斷更新的地圖，預測城市居民在任何特定時刻最有可能在哪裡感染流感。
大資料中提供對社會運作最深刻洞察的數學模式涉及人與人之間思想和資訊的流動。我們可以透過研究社會互動模式（面對面交談、電話、社交媒體訊息傳遞）以及評估個人購買模式（如信用卡資料所示）或移動模式（如 GPS 軌跡所示）中的新穎性和探索量來看到這種流動。思想的流動對於理解社會至關重要，不僅因為及時的資訊對於高效的系統至關重要，而且還因為思想的傳播和結合構成了創新的基礎。與社會其他部分隔絕的社群有停滯不前的風險。
我和我的學生髮現的最令人驚訝的發現之一是，思想流動的模式（透過購買行為、身體流動性或交流來衡量）與生產力增長和創造性產出直接相關。相互交往並在其社交群體之外探索的個人、組織、城市甚至整個社會都具有更高的生產力、更大的創造性產出，甚至更長壽、更健康的生活。我們在所有社會物種中都看到了這種模式的變體，甚至蜜蜂也是如此。思想流動似乎對每個社會的健康都至關重要。
因此，當我們分析公司和政府時，將它們視為思想機器是有用的。這些機器主要透過個人互動來收穫和傳播思想。兩種數學模式為健康的思想流動提供了證據。第一個是參與，我們將其定義為工作組內定期發生的可能的人與人之間交流的比例。參與度和生產力之間的關係很簡單：高水平的參與度預示著高群體生產力，幾乎無論該群體在做什麼或其成員具有什麼樣的個性。第二個因素是探索——對群體成員從外部引入新想法的程度進行數學測量。探索是創新和創造性產出的良好預測指標。
在世界各地的公司進行的實地實驗中，我和我的學生透過為員工配備社交測量 ID 徽章（跟蹤人與人之間互動的電子裝置）來衡量參與度和探索水平。我們發現，增加群體內的參與度可以顯著提高生產力，同時減輕壓力。例如，在瞭解到呼叫中心通常安排咖啡休息時間，以便任何給定時間只有一個員工休息後，我說服美國銀行呼叫中心的經理同時安排咖啡休息時間。目的是促進員工之間更多的參與。這一項改變就使生產力每年提高了 1500 萬美元。
我們還發現，探索——在人與人之間建立新的聯絡——是創新和創造性產出的極佳預測指標。豐富的溝通渠道，特別是面對面的互動，比電子溝通渠道重要得多。換句話說，電子郵件永遠無法完全取代會議和談話。
我們還發現，探索和群體參與的振盪模式——人們參與群體，然後尋找新資訊，將其帶回，然後重複此過程——始終與更大的創造性產出相關聯。在已建立的研究機構中，我的同事已經能夠衡量面對面互動中的這種模式，並使用這些測量結果來準確識別研究人員最具創造力的日子。同樣的方法也適用於虛擬團隊，其成員分佈在許多地點。
類似的資訊流動模式可以預測整個城市和地區的生產力產出。社群參與和社群外探索的模式甚至可以預測社會結果，例如預期壽命、犯罪率和嬰兒死亡率。資訊貧民窟社群的表現與物理貧民窟一樣糟糕，而彼此參與並與周圍社群聯絡的社群往往更健康、更繁榮。
最大化思想流動
使用大資料來診斷問題和預測成功是一回事。更令人興奮的是，我們可以使用大資料來設計比我們今天擁有的組織、城市和政府更好的組織、城市和政府。
這種潛力在公司內部最容易看到。透過衡量思想流動，通常可以找到改進生產力和創造性產出的簡單變化。例如，一家德國銀行的廣告部門在推出成功的新產品活動方面遇到了嚴重問題，他們想知道他們做錯了什麼。當我們使用社交測量 ID 徽章研究問題時，我們發現雖然組織內的團隊之間交換了大量電子郵件，但幾乎沒有人與客戶服務部門的員工交談。原因很簡單：客戶服務部在另一層樓。這種配置造成了巨大的問題。不可避免地，廣告部門最終會設計出客戶服務部門無法支援的廣告活動。當管理層看到我們製作的描繪這種資訊流中斷的圖表時，他們立即意識到他們應該將客戶服務部門搬到與其他團隊相同的樓層。問題解決了。
提高參與度不是萬能藥。事實上，在不增加探索的情況下提高參與度可能會導致問題。例如，當博士後學生 Yaniv Altshuler 和我衡量 eToro 金融交易員社交網路內的資訊流動時，我們發現在某個時間點，人們變得如此相互關聯，以至於思想的流動被反饋迴圈所主導。當然，每個人都在交易思想——但它們是相同的思想一遍又一遍地重複。結果，交易員們在迴音室中工作。當反饋迴圈在交易員群體中占主導地位時，金融泡沫就會發生。這正是為什麼原本聰明的人都確信 Pets.com 是世紀股票的原因。
幸運的是，我們發現我們可以透過向個人提供小的激勵或推動來管理人與人之間的思想流動。一些激勵措施可以推動孤立的人更多地與他人互動；還有一些激勵措施可以鼓勵陷入群體思維的人探索他們當前聯絡人之外的世界。在對 270 萬小型的個人 eToro 投資者進行的實驗中，我們透過向交易員提供折扣券來“調整”網路，鼓勵他們探索更多樣化的其他交易員的想法。結果，整個網路仍然處於健康的群體智慧區域。更值得注意的是，儘管我們僅對少數交易員應用了推動措施，但我們能夠將所有社交交易員的盈利能力提高 6% 以上。
設計思想流動還可以幫助解決公地悲劇，在這種悲劇中，少數人的行為方式導致每個人都遭受痛苦，但對任何一個人的成本都太小，幾乎沒有動力來解決問題。在健康保險行業中可以找到一個極好的例子。未能服用所需藥物、鍛鍊或合理飲食的人的醫療保健成本更高，從而推高了每個人的健康保險價格。另一個例子是當稅收徵收過於集中時：地方當局幾乎沒有動力確保每個人都繳稅，因此，逃稅變得普遍。
通常的解決方案是找到違規者並提供激勵或徵收罰款，旨在讓他們表現得更好。這種方法既昂貴又很少奏效。然而，研究生 Ankur Mani 和我已經證明，促進人與人之間更多的互動可以最大限度地減少這些情況。關鍵是向與違規者互動最多的人提供少量現金獎勵，獎勵他們而不是違規者以改善行為。在現實世界的情況下——例如，鼓勵健康行為或促使人們節約能源的倡議——我們發現，這種基於社會壓力的方法的效率是傳統方法的四倍。
這種相同的方法可以用於社會動員——例如，在緊急情況下，或在任何需要特殊的、協調一致的努力來實現共同目標的時候。例如，在 2009 年，國防高階研究計劃局設計了一項實驗，以慶祝網際網路誕生 40 週年。其想法是展示社交媒體和網際網路如何在美國各地實現緊急動員。DARPA 為最快找到放置在美國大陸各地的 10 個紅色氣球的團隊提供了 40,000 美元的獎金。大約 4,000 個團隊報名參加了比賽，幾乎所有團隊都採取了最簡單的方法——向任何報告看到氣球的人提供獎勵。我的研究小組採取了不同的策略。我們將在那些使用其社交網路招募後來看到氣球的人以及那些自己看到氣球的人之間分配獎金。這個方案在概念上與解決公地悲劇的社會壓力方法相同，它鼓勵人們儘可能多地使用他們的社交網路。我們贏得了比賽，在短短九個小時內找到了所有 10 個氣球。
資料新政
為了實現資料驅動的社會，我們需要我所稱的資料新政——可行的保證，即公共物品所需的資料可以隨時可用，同時保護公民。新政的關鍵是將個人資料視為一種資產；個人將擁有關於他們的資料的所有權。 “擁有”您自己的資料意味著什麼？ 2007 年，我提出了一個與英國普通法關於佔有、使用和處置原則的類比
您有權擁有關於您的資料。無論哪個實體收集資料，資料都屬於您，您可以隨時訪問資料。因此，資料收集者扮演的角色類似於銀行，代表其“客戶”管理資料。
您有權完全控制您資料的使用。使用條款必須是選擇加入，並以通俗易懂的語言清楚地解釋。如果您對公司使用您資料的方式不滿意，您可以刪除這些資料，就像您會關閉您在一家沒有提供令人滿意的服務的銀行的賬戶一樣。
您有權處置或分發您的資料。您可以選擇銷燬或重新部署關於您的資料。
在過去五年中，我在世界經濟論壇上幫助策劃了政治家、跨國公司執行長以及美國、歐盟和世界各地的公共倡導團體之間關於這些基本原則的討論。因此，美國、歐盟和其他地方的法規（例如新的美國消費者隱私權法案）已經在賦予個人對其資料的更大控制權，同時也鼓勵公共和私營部門提高透明度和洞察力。
生活實驗室
歷史上，我們第一次能夠充分了解自己，以構建比我們一直擁有的社會系統更好的社會系統。大資料有望帶來與文字或網際網路的發明相當的轉型。
當然，轉向資料驅動型社會將是一個挑戰。在一個數據無限的世界中，即使是我們通常使用的科學方法也不再奏效：潛在的聯絡太多，以至於我們的標準統計工具經常產生無意義的結果。當假設明確且資料旨在回答問題時，標準的科學方法可以為我們提供良好的結果。但在大規模社會系統混亂的複雜性中，通常有成千上萬個合理的假設；不可能一次性調整資料以適應所有這些假設。因此，在這個新時代，我們將需要以一種新的方式管理我們的社會。我們必須比以往任何時候都更早、更頻繁地開始在現實世界中測試聯絡。我們需要構建“生活實驗室”，在其中我們可以測試我們構建資料驅動型社會的想法。
生活實驗室的一個例子是我們剛剛在義大利特倫託啟動的開放資料城市，該城市與市政府、義大利電信、西班牙電信、研究型大學 Fondazione Bruno Kessler 和資料驅動設計研究所合作。該專案的目標是促進特倫託市內更大的思想流動。諸如我們的 openPDS（個人資料儲存）系統等軟體工具實施了資料新政，使個人可以安全地共享個人資料（例如健康詳情或有關其孩子的事實），方法是控制其資訊的去向以及對其進行的處理。例如，一個 openPDS 應用程式鼓勵有幼兒的家庭之間分享最佳實踐。其他家庭如何花錢？他們外出社交的頻率有多高？人們在哪些幼兒園或醫生那裡待的時間最長？一旦個人給予許可，這些資料就可以透過 openPDS 安全且自動地收集、匿名化並與其他年輕家庭共享。
我們相信，像我們在特倫託進行的實驗將表明，資料驅動型社會的潛在回報是值得付出努力和承擔風險的。想象一下：我們可以預測和緩解金融崩潰，檢測和預防傳染病，明智地利用我們的自然資源，並鼓勵創造力蓬勃發展。如果我們謹慎地應對陷阱，這個幻想可能會很快成為現實——我們的現實。