希拉里·克林頓即將以壓倒性優勢戰勝唐納德·特朗普。但是等等。特朗普正在迎頭趕上，可能入主白宮。不，克林頓明顯領先，並且正在擴大優勢。幾乎每天都會有新的民意調查結果出爐，結果各不相同，讓選民們不知道該相信什麼。
最近選舉的結果更有理由讓人懷疑。2013年，加拿大自由黨在不列顛哥倫比亞省的省選中獲勝，出乎意料。次年，民意調查高估了民主黨在美國國會選舉中的支援率。今年，一些民意調查機構低估了英國人在英國脫歐公投中對脫離歐盟的支援。這些失誤導致一些政治評論員表示，民意調查正走向墳墓。
“鑑於民意調查今年和去年的糟糕表現，越來越難找到願意為任何民意調查付費的人。他們在英國已經嚴重失信，”牛津大學政治社會學家斯蒂芬·費舍爾說。
關於支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續報道有關當今世界具有影響力的發現和想法的故事。
隨著美國總統大選臨近，民意調查機構正在爭先恐後地改進他們的方法，以避免再次犯下令人尷尬的錯誤。他們的工作變得越來越難。直到大約十年前，民意調查機構還能夠透過簡單地給人們家裡的座機打電話來了解公眾輿論。但是，發達國家的大部分人口已經放棄座機，轉而使用手機。這使得民意調查機構更難聯絡到他們，因為人們通常不會接聽來自陌生號碼的電話。
來源：NATURE，2016年10月19日，doi:10.1038/538304a；來源：疾病控制與預防中心；皮尤研究中心調查，2000-15年
因此，民意調查機構正在反擊。他們正在微調聯絡手機使用者的努力，使用統計工具來糾正偏差，並轉向線上調查。越來越多的線上民意調查促使民意調查聚合網站的形成，例如 FiveThirtyEight、RealClearPolitics 和赫芬頓郵報，它們結合並平均結果，以制定更細緻的預測。
“民意調查正在經歷一系列轉型。現在做起來更困難了，”新澤西州新不倫瑞克市羅格斯大學政治科學家克利夫·祖金說。“我們自 20 世紀 60 年代以來使用的正規化已經崩潰，我們正在發展一個新的正規化來取代它——但我們還沒有達到目標。”
時代變遷
準確的民意調查的要素相當簡單，但它們可能很難找到，而且每個人都使用不同的方法將它們組合在一起。首先招募一大群人——最好超過 1,000 人。樣本應在女性和男性之間平均分配。並且它應該反映人口在種族、教育、收入和地理分佈方面的構成，以代表這些群體不同的觀點和投票行為。一旦資料到手，民意調查機構就會分析樣本中的差距，並對結果進行加權，以彌補代表性不足的群體。
“民意調查是一門藝術，但在很大程度上也是一項科學事業，”紐約市 Abt SRBI 民意調查公司總裁兼執行長、美國民意研究協會前主席邁克爾·林克說。
這也是一個在幕後進行的過程。民意調查由公司和學術團體混合進行，但通常由新聞機構和政治團體委託進行。因此，民意調查機構很少分享其技術的細節。“有很多人靠這個為生，他們的聲譽也建立在這個基礎上，”南加州大學經濟與社會研究中心（位於洛杉磯）的調查主任吉爾·達林說。
在發達國家，收集民意調查資料的部分曾經相對容易。民意調查機構只是給人們家裡的座機打電話——起初是手工撥打，後來在美國使用自動撥號器。但座機正迅速走向電報的末路。2008 年，美國每十戶家庭中就有超過八戶擁有座機；到 2015 年，這個數字已降至五戶，並且還在繼續下降。在英國，更多的人擁有座機，但這個比例正在下降。截至今年，其中 53% 的人聲稱他們從不或很少使用座機。
手機革命嚴重打擊了美國的民意調查機構，因為聯邦法規要求手動撥打手機。而且，當陌生號碼彈出時，人們通常不會接聽手機來電。1997 年，民意調查機構可以獲得 36% 的回覆率，但現在已降至僅 10% 或更低。因此，民意調查機構正在努力接觸更多的人，而且成本正在上升：每次手機採訪的成本大約是座機採訪的兩倍。密歇根大學安娜堡分校調查方法專案負責人弗雷德里克·康拉德說，還存在“無回覆偏差”，因為回覆民意調查機構電話的人有時並不能反映具有代表性的樣本。
華盛頓特區皮尤研究中心調查研究主任考特尼·肯尼迪說，儘管打電話給人們的費用和難度很高，但這種方法仍然產生最準確的結果。美國民意調查機構現在超過一半的樣本都撥打手機，而且隨著越來越多的人放棄座機，這個比例可能會上升。
民意調查機構還在努力解決另一個主要問題——預測誰會投票。今年在美國，這可能異常困難，因為許多選民對主要候選人並不感興趣，他們的支援率處於歷史低位。
根據經濟合作與發展組織的統計，美國全國選舉的投票率通常為 40-55%，低於大多數其他發達國家。相比之下，在英國，通常有 60-70% 的合格人口投票。更富有、年齡更大、受過更好教育的人以及上次選舉中投票的人更有可能投票，但這因每次選舉而異。
民意調查機構通常根據他們自己專有的因素組合來估計投票率，例如受訪者的投票歷史、他們是否在政黨註冊、他們對政治的參與度、他們是否說他們計劃投票，以及人口統計和社會經濟因素。“‘可能投票的選民’建模是出了名的民意調查的秘製成分，”肯尼迪說。
這也是準確民意調查中最困難的部分之一。在 2014 年美國中期選舉中，大多數民意調查機構未能預測民主黨的投票情況。投票率僅為 36%——過去 70 年來的最低記錄——這不成比例地壓低了民主黨候選人的選票。
在2015 年英國大選中，根據英國民意調查委員會和市場研究協會 3 月份釋出的一項調查，包括 ICM Unlimited 和 YouGov 在內的大多數主要民意調查機構都低估了年齡較大的保守黨選民的投票率。調查還發現，民意調查機構的樣本存在系統性偏差。他們往往有太多的工黨支持者，而保守黨支持者則偏少。他們已將加權和調整程式應用於原始資料，但這並未減輕偏差問題。報告中確定的另一個錯誤來源是“羊群效應”——當民意調查機構有意識或無意識地調整其民意調查時，使其結果看起來與之前釋出的結果相似，導致民意調查趨於一致。
對左傾政黨的偏見並非英國獨有。調查分析了來自 45 個國家/地區的 30,000 多個民意調查，發現也存在類似的但較小的偏差。該報告沒有解釋原因，但美國和英國的一些民意調查機構將這種趨勢歸因於對誰會出來投票的預測不準確。
就英國而言，專家組建議民意調查機構努力獲得更具代表性的樣本，並研究更好的加權方法。
民意調查機構也在嘗試透過改變他們對可能投票的選民進行建模的方式來提高準確性。過去，他們以二元方式對待他們的樣本：確定有多少人會在選舉日出來投票，有多少人會待在家裡。現在，他們傾向於為某人是否會投票分配一個機率。
更高的透明度可能會有所幫助。參與調查的費舍爾說，英國的民意調查機構與英國民意調查委員會分享了他們的方法，這有助於最近的調查，並引發了關於提高準確性的方法的富有成果的辯論。
信任資料
即使民意調查機構設法收集了具有代表性的樣本，他們也並非總是可以信任人們給出的答覆。美國最明顯的例子之一發生在 1982 年加利福尼亞州州長選舉中。洛杉磯市長湯姆·布拉德利是一位非裔美國人，在民意調查中一直領先，但在選舉中以微弱優勢落敗。事後，民意調查機構認為，這種差異的出現是因為一些選民可能不想承認他們不會支援一位非裔美國人候選人。這現在被稱為“布拉德利效應”。
這方面的一個變種是“害羞的保守黨效應”，以英國傾向於保守黨的選民命名，他們向民意調查機構隱瞞自己的觀點或謊報自己的意圖。這讓一些專家想知道，在即將到來的美國大選中，是否可能會出現害羞的特朗普效應——其中一部分選民對承認自己支援特朗普或反對克林頓感到尷尬或不情願。但大多數主要民意調查機構懷疑這會成為一個主要因素，因為共和黨初選前的民意調查準確地衡量了對特朗普的支援，並且他在線上民意調查和使用現場訪談的民意調查中的表現也相似。
先進的技術可能使民意調查機構更好地瞭解選民的真實感受。例如，線上民意調查允許人們在方便的時候回覆，並在不擔心現場採訪者評判的情況下表達他們的意圖。它們還可以輕鬆地在短時間內以較低的成本收集數千份回覆：根據華盛頓特區全球市場研究和民意調查公司益普索公共事務部副總裁克里斯·傑克遜的說法，一次 12 分鐘的調查大約花費 30,000 美元，而類似的電話調查則超過 70,000 美元。
但線上民意調查也面臨挑戰。它們通常透過在熱門網站上投放廣告來招募，因此人們可以選擇是否參與，這意味著它們的樣本中可能存在內在偏差。民意調查機構並不確切知道民意調查中缺少哪些人，並且更難估計最終民意調查資料的可靠性。
一些民意調查機構已開始嘗試透過簡訊進行的民意調查。與線上民意調查一樣，人們可以選擇在任何時候回覆，並避免與人交談。紐約市新學院社會研究學院的心理學家邁克爾·肖伯和他的同事測試了現場採訪和簡訊採訪之間的差異。“簡訊的缺乏時間和社交壓力使人們能夠透露更多資訊，更加誠實，”他說。
另一種方法是召集一批人進行重複調查。最突出的是南加州大學多恩西夫學院/洛杉磯時報總統選舉跟蹤民意調查，該民意調查於 7 月啟動。這些民意調查機構根據美國郵政服務的資訊隨機選擇人員，並透過郵件聯絡他們，招募 3,000 人每週參加他們的線上調查。與其他民意調查不同，他們不需要不斷招募新的受訪者，而且他們的回覆率至少為 15%——高於電話民意調查。領導這項調查的達林說，民意調查機構有足夠的資料非常瞭解他們樣本的人口統計資料，並且可以對他們的趨勢充滿信心。
但是，如果他們的樣本最終被證明存在偏差，那麼在樣本持續期間的所有民意調查都將存在偏差。今年的民意調查可能就是這種情況，根據聚合網站 FiveThirtyEight 的說法，該民意調查略微傾向於特朗普。
為了降低偏差風險，研究人員正在嘗試一種新型民意調查。紐約市哥倫比亞大學的統計學家和政治科學家安德魯·蓋爾曼和他的同事收集了非常龐大的人群，並將他們劃分為數萬個人口統計類別。研究人員在 2012 年美國總統大選的民意調查資料中測試了這種極端分類方法，表明透過使用高度調整的權重來糾正不具代表性的樣本3，它可以準確預測州級結果。然而，這種複雜的方法比通常收集的方法花費更多時間，並且需要更詳細的資料。
然而，這可能是未來的一瞥。YouGov 歐洲、中東和非洲政治和社會研究負責人喬·特威曼表示，“大資料”將帶來更準確的結果。“這將是將受訪者的投票資料與網際網路使用情況、其他調查資料和人口統計資訊聯絡起來，從而建立該人的更豐富的畫面，這將允許更準確地細化預測，”他說。民意調查機構將使用這些資訊來評估誰可能投票並分析調查結果——例如，確定哪些問題最受不同選民關注。
網際網路民意調查的低成本引發了各種質量的民意調查數量激增，這使得記者、政策制定者和其他人難以區分良莠。民意調查聚合器嘗試根據過去的可靠性對民意調查進行加權，但這並不能保證未來的成功，特別是如果低質量和短期的民意調查機構被納入其中。
與關於民意調查消亡的大膽宣告相反，從業人員表示，民意調查僅僅是在經歷轉型。但民意調查機構確實認識到，一些障礙是不可逾越的。隨著選舉季的延長，人們找到更多理由來調查公眾輿論，民意調查的數量將繼續增加。蓋爾曼說，民意調查機構認識到他們只能向人們索取這麼多。“公眾信任是一種不可再生資源。”
本文經許可轉載，並於2016 年 10 月 19 日首次釋出。