當實驗未能產生有趣的效果時,研究人員通常會將資料擱置,轉而研究另一個問題。但是,隱瞞零結果會扭曲某個領域的文獻,對於臨床醫學和社會科學來說尤其令人擔憂。
加利福尼亞州斯坦福大學的研究人員現在已經衡量了該問題的嚴重程度,發現社會科學研究樣本中的大多數零結果從未發表。這種發表偏倚可能會導致其他人浪費時間重複這項工作,或掩蓋重複已發表研究的失敗嘗試。斯坦福大學政治學家尼爾·馬爾霍特拉領導了這項研究,他說:“儘管這已被公認為是一個問題,但以前很難證明,因為未發表的結果很難找到。”
他的團隊調查了2002年至2012年間進行的221項社會學研究的命運,這些研究由 社會科學時分實驗(TESS)記錄在案,TESS是一個美國專案,旨在幫助社會科學家進行大規模的人民觀點調查。
關於支援科學新聞報道
如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和思想的具有影響力的故事。
僅有48%的已完成研究得以發表。因此,該團隊聯絡了其餘作者,以瞭解他們是否已撰寫結果,或將其提交給期刊或會議。他們還詢問結果是否支援研究人員的原始假設。
在所有零結果研究中,只有20%發表在期刊上,65%甚至沒有被撰寫出來。相比之下,大約60%的具有顯著結果的研究已經發表。馬爾霍特拉團隊聯絡的許多研究人員表示,他們沒有撰寫零結果,因為他們認為期刊不會發表這些結果,或者認為這些發現既不有趣也不重要,不值得進一步努力。
馬爾霍特拉說:“當我展示這項工作時,人們會說,‘這些發現是顯而易見的;你所做的只是量化了我們憑經驗已知的事情’。”但他表示,社會科學家常常低估了偏倚的程度,或者將零結果研究被拒的責任歸咎於期刊編輯和同行評審員。他團隊的發現今天發表在《科學》雜誌上。
被成功矇蔽
這個問題可能比TESS樣本表明的還要嚴重。提交給TESS的每項調查設計都經過同行評審,以確保其具有足夠的統計能力來檢驗一個有趣的假設;這些領域中較弱的研究的發表率可能更低。研究發表偏倚和不端行為的進化生物學家丹尼爾·法內利目前是加拿大蒙特利爾大學的訪問教授,他說:“這項研究很可能低估了問題的真實程度。”
2010年,法內利調查了各個學科的發表偏倚,發現心理學和精神病學最傾向於發表陽性結果。加州大學聖地亞哥分校拉霍亞分校的心理學家哈爾·帕什勒說:“但這不僅僅是社會科學問題,在生物醫學科學中也很常見。”“兩者都真正因只聽到成功而受到毒害。”(參見“‘道德失範’導致四分之一的臨床試驗未發表”。)
社會科學家已經在嘗試解決發表偏倚問題(參見“‘重複研究:不良副本’”)。馬爾霍特拉參與了“社會科學透明度伯克利倡議”,該倡議提倡一系列加強社會科學研究的策略。一種選擇是將所有社會科學研究記錄在一個跟蹤其結果的登錄檔中——這種模式已經用於幫助確保藥物試驗的零結果得以公開。與此同時,帕什勒建立了一個網站“PsychFileDrawer”,以收集在實驗心理學中重複研究結果的嘗試產生的零結果。
然而,這些補救措施並未受到普遍歡迎。馬爾霍特拉說:“已經有很多抵制。”一些社會科學家擔心,堅持註冊研究計劃可能會阻止他們從資料中意外的相關性中做出偶然的發現。但帕什勒補充說,大多數人接受變革的必要性:“我們都在逐漸意識到這一點。”
本文經許可轉載,最初於2014年8月28日首次發表。