人群預測的最佳選擇

研究改進了預測市場

每一個成功的前瞻性決策背後都有一個好的預測。當我們換工作或買房子時,我們隱含地預測我們的選擇會比其他選擇更好。提高預見能力,特別是關於政治事件的預見能力,對政府來說也是顯而易見的。這就是為什麼美國情報機構的研究部門IARPA資助了一項大型人群預測科學研究。在良好判斷專案中,我們有機會在四年內進行數十項實驗,重點關注一個問題:我們如何才能最好地提取人群的智慧來進行政治預測?

預測市場已經為人群智慧預測設定了黃金標準。一個典型的預測市場問題可能是:“希拉里·克林頓會贏得2016年總統大選嗎?”您可以買賣有關這個問題的股票,每股股票如果克林頓獲勝則價值1美元,如果她失敗則價值0美元。按照設計,價格對應於克林頓獲勝的機率,例如0.60美元意味著她有60%的機會獲勝。如果您認為她的機會更高或更低,您可以在該問題上買賣股票,並從您的見解中獲得潛在利潤。

如果您是選舉愛好者,您很難在不提及預測市場的情況下談論克林頓和特朗普的機會。這不是巧合。預測市場在許多精彩的競賽中都取得了挑選贏家的良好記錄,從總統候選人噴墨印表機。社會科學家正在利用市場來預測哪些著名的心理學發現可以被重複。理論上,無形的手會發揮其魔力,有效地彙總參與者可獲得的所有相關資訊。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保有關當今塑造我們世界的發現和想法的影響力故事的未來。


因此,如果您對未來有重要問題,並且有數百人願意提供他們的見解,那麼將他們放在預測市場中似乎是穩賺不賠的。然而,我們並沒有想當然地認為這是理所當然的,而是進行了第一個大型實驗,將預測市場與競爭方法進行了比較。令我們驚訝的是,我們已經確定了一種產生比市場更準確預測的方法。對於像美國情報界這樣預算超過500億美元的組織來說,改進的預測可能意味著正確決策和伊拉克戰爭式慘敗之間的區別。

這種獲勝方法的靈感來自於為天氣預報員開發的概念,他們從事每日機率預測業務。我們稱之為預測民意調查。民意調查預測員不是下注,而是以機率的形式表達他們的信念。例如,您可能會說克林頓有70%的機會贏得選舉。在瞭解克林頓是否獲勝後,您將收到一個準確度評分,反映您與正確答案的接近程度。例如,如果克林頓獲勝,您的得分將高於那些認為她有50/50機會的人。在你和其他數百名預測員表達他們的信念後,統計算法開始工作,彙總預測以得出每個問題的單一群體智慧估計。

天氣預報員和其他專家已經使用基於民意調查的方法幾十年了,但沒有人透過實驗測試過民意調查在大量非專家人群中的功效。這就是我們所做的。在一個為期兩年的錦標賽中,我們隨機將參與者分配到預測市場或民意調查中。這使我們能夠追蹤準確性差異的原因是方法,而不是個別預測員。我們收集了大約50萬個關於近300個問題的預測,涵蓋了廣泛的地緣政治主題,從德國議會選舉的獲勝者到西非埃博拉疫情的消滅。

預測民意調查的表現優於市場,減少了10-20%的誤差。民意調查表現強勁背後的三個因素非常突出。我相信理解這些將有助於我們大多數人更清楚地思考預測。

首先,個人技能很重要。我們發現,有些預測員在預測未來方面就是比其他人更好。準確性是技能問題,而不僅僅是運氣。一旦我們掌握了預測員在約20個問題上的記錄,我們就可以利用這些資訊來放大技能較好的人的聲音,從而提高總體估計的質量。市場有其自身的學習技能機制:更好的預測員理想情況下會以犧牲那些不太準確的同行為代價積累收益和影響力。

其次,信念更新是技能的標誌。準確的民意調查預測員以特定模式更新他們的信念:頻繁地,以小幅度遞增。他們將預測任務視為多次小驚喜,而不是一連串的大沖擊。我們使用更新頻率來告知哪些個人在特定問題上表現最佳。按照設計,市場不會捕獲此類行為措施,至少在行為轉化為市場收益之前不會。

最後,我們發現,認為自己是某個主題專家的民意調查預測員並不一定比那些對自己的專業知識給出適度評價的同行更準確。事實證明,評估一個人相對於同行的知識和專業知識對人類來說是一項極其困難的任務。然而,在市場上,這正是交易員試圖做的:當他們擁有相對於其他參與者的獨特優勢時,他們就會下注。在後續研究中,我發現預測市場交易員經常無法猜測何時下小額或大額市場賭注,這可能會給最終定價訊號增加噪音。

那麼,這種經驗告訴我們如何做出更好的預測呢?提高技能的最好方法可能是跟蹤您的準確性。當您挖掘出新的證據時,您也應該保持開放的心態來改變您的想法,這些證據通常以小劑量出現。並且不要認為您的初始知識會自動使您命中靶心。

結果可能會讓那些堅信市場作為資訊彙總器的卓越效率的人感到失望。但是,正如托馬斯·赫胥黎所說,這就是科學的悲劇:一個美麗的假設被一個醜陋的事實所扼殺。在政治和經濟風險似乎無處不在的時代,更好的預測值得質疑一些長期以來的假設。

這是第一個比較預測民意調查和市場的實驗。但這不太可能是最後一次。例如,我們不知道數千名(而不是數百名)預測員之間強大的真錢激勵是否會提高市場表現,並幫助市場捍衛其黃金標準地位。要了解更多關於成為預測員的體驗,請嘗試預測民意調查,以及使用真錢模擬貨幣的預測市場。這些是嘗試運氣並培養技能的好方法。

Are you a scientist who specializes in neuroscience, cognitive science, or psychology? And have you read a recent peer-reviewed paper that you would like to write about? Please send suggestions to Mind Matters editor Gareth Cook. Gareth, a Pulitzer prize-winning journalist, is the series editor of Best American Infographics and can be reached at garethideas AT gmail.com or Twitter 

@garethideas.

Pavel Atanasov is a decision psychologist who studies prediction. He is co-founder of the company Pytho and a co-principal investigator of the Human Forest project, both with Regina Joseph. Prior to that, he was postdoctoral scholar at the Good Judgment Project. Follow him on Twitter at @paveldatanasov.

More by Pavel Atanasov
© .