本文發表在《大眾科學》的前部落格網路中，反映作者的觀點，不一定代表《大眾科學》的觀點
同行評審於 1731 年由愛丁堡皇家學會引入學術出版，該學會出版了一系列經過同行評審的醫學文章。 儘管有此早期開端，但在許多科學期刊出版物中，直到二戰後，編輯才對是否發表文章有最終決定權。“科學 和 美國醫學會雜誌 直到 1940 年之後才使用外部審稿人，”(Spier, 2002)。柳葉刀 直到 1976 年才實施同行評審（Benos 等，2006）。戰爭結束後，進入五六十年代，文章的專業化程度提高，期刊版面的競爭也隨之加劇。技術進步（影印！）使得向審稿人分發文章的額外副本變得更加容易。如今，同行評審是評估一切事物的“黃金標準”，從學術出版到資助到終身教職決定（在本文中我將重點關注學術出版）。它已被“提升為‘原則’——一個非常分散的領域的統一原則”（Biagioli，2002）。
同行評審需要時間、精力和努力，並且會大大延遲出版。它是學術出版的瓶頸之一。如今，我們可以非常快速地分發，但是每個領域中的專家人數有限，他們的時間被學術生活中的其他任務佔用。JASIST 的編輯 Blaise Cronin 估計，JASIST 每年需要大約 1,000 次同行評審（當然，一個人可以多次評審）才能處理 400 篇文章，並且 JASIST 接觸約 3,000 名研究人員才能找到 1,000 名同行評審員。
單盲還是雙盲？
關於支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。 透過購買訂閱，您將有助於確保有關當今塑造我們世界的發現和想法的具有影響力的故事的未來。
傳統的同行評審通常是單盲或雙盲的。單盲評審是最常見的，審稿人知道作者的身份，但作者不知道審稿人的身份。雙盲同行評審是指作者和審稿人都不知曉對方的身份。作者傾向於認為雙盲評審原則上比單盲評審更好、更少偏見，但他們也懷疑真正的盲法是否可能（參見 Lee 等人，2013 年的評論）。一項針對 590 家化學期刊的編輯、主編和編輯委員會成員的調查發現，97% 的期刊不提供雙盲同行評審。大多數受訪者認為雙盲沒有必要，因為內容和參考文獻無法真正隱藏。他們認為雙盲會使欺詐行為的檢測更加困難，並且認為該系統令人滿意（Brown，2007）。
舉個例子：在我新的工作場所，我們每年都會舉辦一次高等教育電子學習會議。 當我們收到提案時，我的工作之一是將其匿名化——刪除他們的名字，並確保無論作者在哪裡寫了他們所在機構的名稱，都將其替換為簡單的“該機構”。 不幸的是，以色列的電子學習社群太小了，這個過程幾乎毫無用處，因為每個人都認識每個人，每個人都知道哪個機構在做什麼。Justice 等人（1998 年）的一項研究得出了類似的結論。 他們在將稿件傳送給五家知名醫學期刊進行評審之前，掩蓋了作者的身份，但大約 30% 的審稿人仍然能夠識別出作者（可能是因為文字中的自我引用沒有被刪除）。 在小型研究領域，這個數字可能會更高。
同行評審、欺詐和錯誤
每當有已發表文章中的欺詐案例或重大缺陷被曝光時，人們自然會想知道“同行審稿人在哪裡？” 例如，研究人員 Jan Hendrick Schon 在四年內（1998-2002 年）發表了一百多篇文章，但審稿人未能發現他文章中的 16 起不端行為案例。 有時，這僅僅是偶然。 Retraction Watch 部落格最近報道，在一位同事指出他們文章中的（誠實的）錯誤後，一群作者撤回了《物理評論快報》上的一篇論文。 如果這位同事是他們發表前的同行評審員，那麼這篇文章一開始就不會被髮表。
在一項研究中，在已接受發表的一篇文章中輸入了八個弱點，並將其傳送給 JAMA 審稿人（200 名受訪者），他們平均每位審稿人發現的弱點不到兩個。 16% 的人沒有發現任何弱點，只有 10% 的人發現了四個以上的弱點（Godlee 等人，1998 年）。Callaham 等人（1998 年）向 Annals of Emergency Medicine 的編輯和所有在該研究之前至少評審過三篇稿件的期刊同行評審員傳送了一份包含 23 個故意缺陷的虛假稿件。 平均而言，審稿人發現了稿件中十個主要缺陷中的 3.4 個和 13 個次要缺陷中的 3.1 個。 同行評審是科學的“守門人”，但他們的把關遠非完美。
同行評審的內部可靠性
同行評審的審稿人之間的可靠性水平往往較低 (0.2-0.4)。 至少從統計角度來看，這使得它們非常不可靠。 然而，這可能不是一件壞事：“事實上，太多的一致性表明審查過程運作不佳，審稿人的選擇沒有充分的多樣性，並且有些審稿人是多餘的”（Bailar，1991 年）。 可能是審稿人對被審文章的不同質量給予了不同的權重，或者文章的主題尚未達成科學共識（例如：替代計量學，評估的有用工具還是垃圾？）。
我很清楚這篇文章僅涵蓋了關於同行評審的討論和爭論的一小部分（請注意這篇文章的標題是“傳統同行評審簡介”），並希望在未來再次討論該主題。
Bailar, J. (2011). 同行評審中可靠性、公正性、客觀性和其他不適當的目標。 行為和腦科學, 14 (01), 137-138 DOI: 10.1017/S0140525X00065705
Biagioli, M. (2002)。從書籍審查到學術同行評審。 湧現：媒體與複合文化研究雜誌, 12 (1), 11-45 DOI: 10.1080/1045722022000003435
Benos DJ, Bashari E, Chaves JM, Gaggar A, Kapoor N, LaFrance M, Mans R, Mayhew D, McGowan S, Polter A, Qadri Y, Sarfare S, Schultz K, Splittgerber R, Stephenson J, Tower C, Walton RG, & Zotov A (2007)。 同行評審的興衰。 生理學教育進展, 31 (2), 145-52 PMID: 17562902
Bornman, L. (2008)。科學同行評審：同行分析
從社會學角度看評審過程
科學理論人類建築：自我知識社會學雜誌, 6 (2)
Brown, R. (2006)。 雙重匿名和同行評審過程。 科學世界期刊, 6, 1274-1277 DOI: 10.1100/tsw.2006.228
Callaham ML, Baxt WG, Waeckerle JF, & Wears RL (1998)。 編輯對稿件同行評審的主觀質量評分的可靠性。 JAMA：美國醫學會雜誌, 280 (3), 229-31 PMID: 9676664
Godlee, F., Gale, C., & Martyn, C. (1998)。 盲化審稿人並要求他們簽署報告對同行評審質量的影響。 JAMA, 280 (3) DOI: 10.1001/jama.280.3.237
Lee, C. J.,, Sugimoto, C. R.,, Zhang, G.,, & Cronin, B. (2013)。 同行評審中的偏見。 JASIST, 64 (1), 2-17
Spier R (2002)。 同行評審過程的歷史。 生物技術趨勢, 20 (8), 357-8 PMID: 12127284