本文發表於《大眾科學》的前部落格網路,僅反映作者的觀點,不一定代表《大眾科學》的觀點
想象一下,一位年輕而勇敢的科學家肩負著一項看似不可能的任務。為了獲得科學界的青睞,他們必須透過完成極少數科學家以前做過的事情來證明自己的價值:重複一個先前已知的科學事實。現在,這位勇敢的科學家知道,前方的道路漫長、危險且充滿挑戰。受人尊敬的科學界前輩對這個想法嗤之以鼻,其他人表達了嚴重的偏見,最終,研究經費也用完了。
重複實驗根本沒有進展。在這種令人沮喪的狀態下,我們的科學家走進一家酒吧,並熱情地向幾位同事描述了她重複實驗想法的重要性。她的同行們愉快地將這個想法記錄在一本新的皮革裝訂的書中,書名為註冊報告,在仔細檢查其準確性後,他們保證將其出版。幾個月後,這位年輕科學家的報告在最新的不發表就出局期刊上宣佈發表。
這不是童話故事。重複性,或者在收集新資料時獲得相似的結果,是一個持續存在的問題,主要困擾著生命科學和社會科學領域。有時被稱為重複性挑戰,這個障礙不應與可重現性挑戰混淆:可重現性挑戰意味著,例如,我們才華橫溢的科學家努力使用原始方法獲得相同的結果。儘管這兩種難題影響著許多學科,但考慮到每個專案產生的大量資料,腦成像研究對它們尤其敏感。然而,只有極少數神經科學期刊明確鼓勵作者提交重複性研究。可重複性和可重現性挑戰,以及低統計功效和發表及研究者偏見,使得這位年輕科學家的旅程異常艱險。
關於支援科學新聞業
如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞業 訂閱。透過購買訂閱,您將幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。
讓我們仔細看看(只能稱之為)這段艱苦的發表之旅。
首先丟擲挑戰:低統計功效——即,非常小的機會,通常遠低於拋擲一枚均勻硬幣得到正面的機會,以產生統計上顯著的結果——使得檢測效應變得困難。在包括神經科學在內的許多領域,統計功效往往非常低,以至於我們的年輕科學家必須多次重複相同的實驗才能真正發現它。然而,我們的年輕科學家很忙。而且很窮。她沒有時間做那個。哎,沒人有時間做那個!更糟糕的是,低統計功效,加上下一個障礙——發表偏倚,會誇大報告的效應,這進一步危及可重複性。
發表偏倚是指僅報告陽性結果的趨勢,但這種影響很大程度上取決於期刊。大多數期刊主要發表具有統計學意義的發現,這令人惱火地導致了另一個問題,稱為檔案抽屜效應:產生非顯著性發現(所謂的零結果)的研究比那些產生統計學意義結果的研究更不可能被提交發表。此外,在少數發表了零結果的研究中,大多數研究的功效可能太低,無法檢測到他們正在研究的現象。因此,它們仍然是不確定的,因此無法提供資訊。
功效充足的產生零結果的研究對於為未來實驗的精確設計提供資訊,並幫助科學家重複以前的工作至關重要。誠然,腦成像研究非常昂貴,研究人員可能會利用這種自由裁量權,從投入實驗的所有時間和精力中獲得一些可發表的東西。因此,有些人正確地擔心,已發表的文獻只向我們展示了冰山一角。
就在我們的年輕科學家認為她的旅程不可能更危險的時候,她照了照鏡子,遇到了她自己的偏見!一些研究人員無意中選擇僅發表符合他們故事情節的資訊(選擇性報道),從而忽略了重複實驗所需的其他相關資訊。其他研究人員無意或有意地調整他們的資料分析,以獲得顯著的發現,或者在結果已知後提出假設。腦成像資料尤其為調整提供了充足的機會,因為它的分析涉及許多步驟,並且在每個步驟中,科學家都可以從各種方法和校正中進行選擇。顯然,試圖重複使用這些有問題的研究實踐得出的結果是困難的,甚至是不可能的。
但這是什麼?不知從哪裡冒出來,註冊報告(RRs)騎著白馬,身穿閃亮的盔甲出現了。這種全新的出版形式可以解決所有這些棘手的問題,因為它要求科學家在收集資料之前宣告他們的方法。科學家陳述他們的假設以及他們想如何檢驗這些假設,然後這些陳述由同行評審小組進行評估,評審員檢查研究的基本原理是否合理,以及設計、提議的方法和統計檢驗是否適當(見下圖)。
來源:開放科學中心
最棒的是什麼?一旦提交的稿件透過所有檢查,作者就可以保證發表他們的作品,無論結果如何。藉助註冊報告(RRs),我們的年輕科學家可以安全地完成這段危險的旅程,更重要的是,獲得有保障的發表機會。雖然註冊報告的概念還處於起步階段,但它對重複性挑戰的影響(如果使用得當)在許多層面都是深遠的。
保證發表是註冊報告(RRs)提供的主要好處之一。最近的初步研究結果表明,這種形式有效地對抗了發表偏倚,使得超過 60% 的零結果得以公開,而傳統文獻中只有 5% 到 20%。註冊報告(RRs)要求清晰的文件,因此鼓勵使用其他開放科學方法,例如共享資料、計算機程式碼和材料,這使得其他人可以重複和重現研究結果。因此,它們是重塑我們對科學事業信心的英勇僕人。
但是,註冊報告(RRs)也能消除他們“不發表就出局”的困境嗎?與所有新舉措一樣,時間會證明一切。時間當然是這個過程中的關鍵挑戰,因為最初的規劃要求科學家在進行實際實驗之前,仔細研究他們想要調查的效果。這種形式需要高標準(例如,透明的文件、存檔和質量控制),因此單個專案需要更長的時間,並且可以完成的專案更少。
作為一位勇敢(並且,別忘了,精明!)的先驅,我們的年輕科學家想知道她是否會錯過 fellowship 競賽的機會,這種競賽通常需要大量的發表記錄。註冊報告(RRs)仍然是先驅性的工作,在透明報告和質量控制方面設定了更高的標準。只要期刊更廣泛地要求這些標準,並且資助者(即資助機構)充分認可更高的努力,科學出版仍然是一場數字遊戲。
考慮到這些注意事項,註冊報告的概念似乎是一項有希望的倡議,可以提高所有研究(尤其是腦成像研究)的透明度、有效性和可信度,從而提高已發表科學的質量。最重要的是,它們可以將發表的童話故事變成任何年輕科學家的現實。誰不想過上幸福快樂的學術生活呢?
