本文發表於《大眾科學》的前部落格網路,僅反映作者的觀點,不一定反映《大眾科學》的觀點
Nate Silver,FiveThirtyEight 部落格的建立者,在 2012 年憑藉其自信且正確的預測——巴拉克·奧巴馬將以比評論員預期的更大幅度獲勝,尤其是他出奇的準確的各州預測——使統計學變得酷炫。
但在當前的總統選舉週期中,他在早期評估中嚴重失誤,認為唐納德·特朗普贏得共和黨提名的機會只有百分之二。我們在共和黨大會的最後一晚看到了結果。
當然,機率本質上是關於不確定事件的,而小機率事件時有發生。這並不能證明最初對其機率的評估是錯誤的。但 Silver 對特朗普獲勝機率的估計仍然顯得非常離譜。 Silver 本人將他的失誤歸因於他未能在早期估計中使用統計模型。 基本上,他說他當時表現得像個評論員,但將主觀機率附加到他的即興估計中。
關於支援科學新聞業
如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。 透過購買訂閱,您將有助於確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
現在,新英格蘭複雜系統研究所和麻省理工學院媒體實驗室的 Yaneer Bar-Yam 和 Taeer Bar-Yam 發表了一篇關於百分之二事件的更全面和學術性的評估,他們得出的結論是,Silver 的解釋基本上是正確的,但很膚淺。 儘管他擁有專業知識,但他還是陷入了非統計思維的經典陷阱之一:未能考慮到依賴性屬性。
在計算特朗普的獲勝機率時,Silver 假設了一系列六個障礙(他稱之為“末日六階段”),特朗普必須克服這些障礙才能獲得提名。 例如,其中一個障礙是“更高的審查”,即選民開始關注候選人的優點和缺點的時刻; 另一個障礙是“終局”,即黨內領導人可能會竭盡全力阻止他的提名。
Silver 為他倖存過每個階段分配了 50% 的機率,然後將這些機率相乘:50% 乘以 50% 乘以 50%,依此類推——也就是 0.5 的 6 次方。 計算出的數字是 0.0156,略低於百分之二。
但 Silver 對六個階段(不是七個,也不是四個)的選擇完全是任意的。 即使它們是正確的階段,他對機率的假設也是有缺陷的。 僅僅因為一個事件有兩種可能的結果,並不一定意味著這兩種結果各自有 50% 的機率(除非你正在做拋硬幣之類的事情)。 最後,Silver 錯誤地假設這些階段彼此獨立。 在政治競選中,在一個階段的成功可以提高在下一階段取得成功的機率,或者降低成功的機率。 在任何階段取得成功的機率都取決於先前的結果。 例如,當競選活動進入“終局”階段時,黨內領導人阻止特朗普提名的可能性已大大低於 50%。 Silver 沒有進行統計建模,他只是在做粗略的估算。
大多數時候,Silver 實際上確實使用了統計模型,這些模型通常處理民意調查資料的聚合和加權——它們是選民意見的快照。 資料探勘分析的作用在很大程度上被政治記者所不瞭解,因此可能不太受關注,但它為候選人提供了實際採取行動來影響選民意見的工具。 這些統計方法最早出現在 2004 年的克里競選活動中。 在此之前,競選活動完全從群體角度考慮目標受眾:一條資訊可能針對 30 歲以下的女性,另一條資訊針對新移民,另一條資訊針對農村白人,等等。
資料探勘方法在政治領域的應用意味著資訊傳遞可以針對個人——Irma Smith 可能會收到一條資訊,Harold Jones 可能會收到另一條資訊。 這些方法與商業、政府、軍事、醫療和其他應用領域中存在時間稍長的同類技術是政治上的近親。 營銷人員使用它們來決定,例如,您最有可能點選哪個線上廣告。 保險公司使用它們來猜測索賠是否具有欺詐性。 在政治領域,分析師使用這些技術來猜測關於您的兩件事:您支援哪位候選人,以及您是否有可能投票。 透過這種方式,說服性資訊傳遞和鼓勵投票活動可以有針對性地在最有效的地方進行(並且可以避免危害!)。
現在您可能會認為,這幾乎不需要統計資料:只需查詢某人是否註冊為民主黨人或共和黨人,以及他們投票的頻率(這兩者都是公開的)。 實際上,僅使用這兩個變數就可以為您帶來很大的預測能力,而且在非勢均力敵的選舉中,您可能不需要“微定向”帶來的額外好處。
然而,在勢均力敵的選舉中,您可以從將眾多變數納入統計模型中獲得的額外預測能力可能會產生重大影響。 除了投票行為外,顧問還會考慮消費者資料(例如報紙訂閱)、人口統計資訊以及有關選民居住社群的人口普查資訊。 預測性統計模型的使用被廣泛認為是奧巴馬在 2008 年和 2012 年取得勝利的關鍵因素。
2016 年的情況如何? 特德·克魯茲是最早和最全面地採用這些技術的候選人。 他在與特朗普的激烈競爭中失敗了,特朗普似乎遵循了名人免費宣傳的模式:無論報道是正面還是負面,只要他們正確地拼寫你的名字就無關緊要。
但特朗普在初選季確實有一個分析部門。 其工作是識別和動員(儘管不一定是說服)不經常投票的不滿公民。
特朗普從哪裡獲得了進行這項工作的統計模型? 不是來自共和黨人——特朗普正在從共和黨之外尋找選民。 他使用了同一家公司為克里和奧巴馬製作的統計模型:HayStaqDNA,肯·斯特拉斯瑪的創作。 Strasma 並不知道特朗普使用了這些模型,這些模型是透過第三方供應商獲得的。
Strasma 繼續從事政治諮詢工作,但將在其 Statistics.com 上的線上說服性分析課程中與任何人分享他的方法。他說:“桑德斯和特朗普都透過吸引非傳統選民而打破了預期。 基於對傳統民主黨和共和黨初選選民的民意調查(尤其是在競選活動早期)進行的預測嚴重低估了他們的潛力。 透過微定向,他們都能夠找到非傳統選民,如果能夠激勵他們參加初選,他們就會支援他們。”
那麼,統計學在政治中的未來作用將是什麼?
Nate Silver 的形象和網站現在已深深植根於政治舞臺,其所有者 ESPN 將盡最大努力確保這種情況繼續下去。 他在這一案例中的失誤不太可能大大貶低 ESPN 的資產。
但這是否意味著我們可以信任他的預測是另一回事。 作為媒體資產的要求很高,Silver 現在必須每天製作“稿件”,這並不總是有時間進行紮實的研究。 從統計學家的角度來看,他有可能僅僅變成另一個評論員,只不過他的觀點是用數字掩蓋的。
至於資料探勘分析在政治領域的未來,很難想象它會消失。 在像特朗普和桑德斯這樣充滿活力的競選活動中,它可以幫助識別和動員非傳統選民。 在傳統的競爭中,它最常在“邊緣”運作,即勢均力敵的情況下。 在這些情況下,準確地針對個人的鼓勵投票和說服努力可能會扭轉乾坤。