開放同行評審簡介

上一篇文章我們討論了傳統的同行評審,它至少是單盲的。這次我們將重點關注開放同行評審(OPR)。描述OPR最狹義的方式是,作者和評審者的姓名彼此已知的一個過程。

加入我們的科學愛好者社群!

本文發表在《大眾科學》的前部落格網路中,反映了作者的觀點,不一定代表《大眾科學》的觀點


上一篇文章我們討論了傳統的同行評審,它至少是單盲的。這次我們將重點關注開放同行評審(OPR)。描述OPR最狹義的方式是,作者和評審者的姓名彼此已知的一個過程。除了這個狹義的定義,OPR還可以分為多種類別(Ford,2013)

  • 署名 - 評審者的姓名出現在已發表的文章旁邊,或者傳遞給作者的評審意見上有評審者的姓名。

  • 公開 - 作者和評審者都知道對方的身份,並在評審過程中進行討論。

  • 編輯主持 - 當編輯促進同行評審過程的一部分時,無論是透過預先選擇要評審的文章和/或對文章做出最終決定。

  • 透明 - 整個評審過程是“公開的”,包括原始手稿、評審者的評論和作者的回覆。

  • 眾包 - 任何人都可以對文章發表評論(在正式發表之前)。

  • 發表前 - 在文章發表之前發生的任何公開評審(例如提交給預印本伺服器的文章)

  • 同步 - 應該在文章發表的確切時間發生。實際上,它不存在。正如福特指出的那樣:“在文獻中,同步評審只是在理論上被探討,作為一種新穎的、完全迭代的出版模式的一部分。”

  • 發表後 - 在文章發表後發生(例如,部落格文章、F1000Prime 評論)。

2006 年,《自然》雜誌進行了一項為期四個月的 OPR 試驗。除了傳統的同行評審之外,提交給《自然》雜誌且未被直接拒絕的每篇文章(大約 60% 傳送給《自然》雜誌的文章未經評審就被拒絕)的作者可以選擇是否將其文章線上展示以供公眾評論。在《自然》雜誌在那段時間評審的 1,369 篇文章中,有 71 篇(5%)的作者選擇接受 OPR。該試驗在《自然》雜誌提前進行了廣泛宣傳,但評論卻很少。評論最多的文章收到了十條評論,而 33 篇文章沒有收到任何評論。正如《自然》雜誌所說:“儘管人們對這一概念充滿熱情,但開放同行評審並沒有在作者或被邀請發表評論的科學家中得到廣泛普及。” 儘管《自然》雜誌的實驗被認為是失敗的,但其他 OPR 實驗已被證明更為成功。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保關於當今塑造我們世界的發現和思想的具有影響力的故事的未來。


《生物學直報》期刊的編輯去年發表了一篇題為“生物學直報:慶祝開放、發表的同行評審七週年”的文章。在 BD 中,“署名的評審意見和作者回復作為每篇文章的最終版本的組成部分發布。”

(Koonin, Landweber & Lipman, 2013)。在最初的七年中,BD 發表了 365 篇研究文章。儘管《自然》雜誌和 BD 的方法都被稱為 OPR,但《自然》雜誌似乎選擇了眾包路線,而 BD 則選擇了透明路線。

當然,《自然》雜誌的實驗和 BD 之間還有許多其他差異:《自然》雜誌幾乎不是一本新的、未成立的期刊;《自然》雜誌的實驗只持續了四個月,而且 OPR 對於作者來說是可選的,而不是強制性的;BD 致力於 OPR “我們努力建立一個新的同行評審系統,我們希望能夠避免匿名同行評審的所有顯而易見的缺陷,”而《自然》雜誌無意取代其當前的系統;《自然》雜誌是多學科的,而 BD 則專注於生物學的核心領域。

《大氣化學與物理學》(ACP) 於 2001 年啟動,採用了多階段 OPR。提交的文章首先經過快速篩選,如果認為適合該期刊,則在其討論論壇中以“討論論文”的形式發表。它們在那裡停留八週,在此期間,指定的審稿人的評審意見、其他評論(如果存在)以及作者的回覆也會在論壇中發表。指定的審稿人可以決定是否署名他們的評審意見,但其他評論都是署名的(只有“註冊讀者”才能評論)。然後,如果需要,手稿將進行修改,如果需要,將再次進行同行評審(由指定的審稿人進行)。如果手稿被接受,在過程結束時,它們將在期刊上正式發表。ACP 每年發表約 800 篇文章。

ACP 編輯 Ulrich Pöschl (2012) 指出了該過程的優點

1. 快速傳播結果和關於這些結果的無審查交流。

2. 一種正式記錄有關文章的爭議和討論的方法,以及減少剽竊機會的方法;更好地發現文章缺陷的機會。

3. 基於指定審稿人的評審意見和感興趣的讀者的評論的最終產品。

 

ACP 同行評審過程(來源:Pöschl,2012)。

請注意,在任何期刊中,眾包同行評審都沒有取代指定的審稿人。它被視為補充材料。這是因為,首先,許多文章甚至沒有收到評論。即使收到評論,我們也無法確定評論者是否真的是“同行”。考慮到研究人員已經過度勞累,而且大多數人不會費心進行他們沒有被專門要求進行的評審,評論的普遍缺乏並不令人驚訝。另一個問題是公開批評。科學家經常避免公開批評他們的同行,並且通常會忽略他們認為不相關或有缺陷的工作(Cole & Cole,1971)。van Rooyen 等人(1999 年)發現,被要求籤署評審意見的指定審稿人拒絕評審文章的可能性高出 12%。

生物學家和博主 Zen Faulkes 準確地寫道

“當 PLOS ONE 於 2006 年推出時,其突出的創新之一是為使用者提供工具,以便他們非常容易地對論文進行評論和評分。這些工具基本上都沒有被使用。我不知道有哪個期刊有一個蓬勃發展的線上社群來討論期刊內的論文。”

Faulkes 認為,期刊嘗試為其文章建立特殊的討論論壇,以及為科學家和發表後同行評審站點指定的社交媒體站點,在科學評估方面都不如常規社交媒體有效。他認為社交媒體上的發表後同行評審不是傳統意義上的同行評審,而是“世界上最大的研究會議”。

引用 Steven Harnad 的話:“經過同行評審的期刊文獻需要從紙張及其成本中解放出來,但不能從同行評審中解放出來,同行評審的‘看不見的手’是維持其質量的原因。”

傳統的同行評審(有指定的審稿人)不會很快過時,但現在比以往任何時候都更容易用進一步的討論來補充它,無論是在正式發表之前還是之後。

 

參考文獻

Cole, J., & Cole, S. (1971). 衡量社會學研究的質量。科學引文索引使用中的問題。美國社會學家,6(1), 23–29。

社論 (2006)。同行評審的考驗 《自然》, 441 (7094), 668-668 DOI: 10.1038/441668a

Faulkes, Z. (2014)。真空反擊:社交媒體上的發表後同行評審 《神經元》, 82 (2), 258-260 DOI: 10.1016/j.neuron.2014.03.032

Ford, E. (2013)。定義和描述開放同行評審:文獻綜述 《學術出版期刊》, 44 (4), 311-326 DOI: 10.3138/jsp.44-4-001

Greaves, S., Scott, J., Clarke, M., Miller, L., Hannay, T., Thomas, A., & Campbell, P. (2006)。概述:《自然》雜誌的同行評審試驗。自然

Harnad, S. (2000)。同行評審的無形之手。Exploit Interactive, 5(四月)。

Koonin, E. V., Landweber, L. F., & Lipman, D. J. (2011)。已發表的同行評審。Biol Direct, 6, 35。

Pöschl U (2012)。多階段開放同行評審:科學評估,將傳統同行評審的優勢與透明和自我監管的優點相結合。計算神經科學前沿, 6 PMID: 22783183

van Rooyen, S., Godlee, F., Evans, S., Black, N., & Smith, R. (1999)。開放同行評審對評審質量和審稿人建議的影響:一項隨機試驗。《英國醫學雜誌》, 318(7175), 23–27。

© .