引文分析有什麼問題?

加入我們科學愛好者的社群!

本文發表於《大眾科學》的前部落格網路,反映了作者的觀點,不一定代表《大眾科學》的觀點。


引文分析有什麼問題?

除了你的論文引用次數不夠,用引文計數來衡量科學影響力還有什麼問題?基於引文分析來決定資助、晉升等事項的做法已經變得很流行,原因之一是它們被認為是“公正的”。畢竟,這種分析給出了連非專業人士都能理解的數字,幫助他們做出最好和最準確的決定。

上面寫的都是客氣的虛構。為什麼?首先,引文分析只能使用書面的、實際的引文,但是受到某事物的影響並不意味著你會自動提及它。引文分析背後一個基本假設是,所有,或至少大部分的影響都會在文章中被引用。事實並非如此。MacRoberts和MacRoberts(2010)將影響定義為:“當作者在文字中直接或透過二手來源使用了他人的作品時,就明顯受到了該作品的影響。” 根據他們進行的一系列研究,只有大約30%的影響會被引用。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過 訂閱來支援我們屢獲殊榮的新聞報道。透過購買訂閱,您將幫助確保有關塑造我們當今世界的發現和想法的具有影響力的故事的未來。


二手來源 - 再見,引文。一旦你的文章被一篇或兩篇綜述文章報道,你的發現通常會歸功於綜述文章,而不是你自己的文章。我只引用了兩篇MacRoberts & MacRoberts的文章,其中一篇是綜述,因為A. 我只讀過這些,B. 我太懶了,不想閱讀和引用他們引用的所有研究。這對於非正式的科學文獻來說是可以接受的。但是,如果這是一篇經過同行評審的文章,所有未單獨引用的作者和文章都將失去一次引用。綜述文章被如此頻繁地引用的原因就在這裡。

沒有非正式引用。你和你的論文導師之間或者在午餐時的會議上進行的那些重要的對話永遠消失了,即使你可能從中獲得了一些最好的想法。你印象深刻但找不到地方引用的論文也遭遇了同樣的命運。再次引用MacRoberts和MacRoberts(1996)的話:

“如果想知道特定研究中受到了哪些影響,只有一種方法:去實驗室,密切關注科學家工作和與同事互動的情況,檢查他的實驗記錄本,密切關注他閱讀的內容,並認真考慮他的文化環境。”

他們說得對,但他們的建議幾乎不切實際。這就是為什麼在過去幾年裡,文獻計量學家一直在嘗試提出學術社交媒體引用的指標。正如Altmetrics宣言(2010)所說“...那篇以前放在書架上(但未被引用)的破舊文章現在存在於Mendeley、CiteULike或Zotero中——我們可以在那裡看到並計算它。” 不幸的是,Altmetrics指標仍然遠非準確(並非說引文指標準確,但我們只能使用它們)。如果我們要在這個組合中新增新的指標,它們最好是好的。

有限的資料庫。我之前在這個部落格中提到過,但值得重複一遍:引文資料庫痛苦地僅限於一小部分科學出版物,其中大部分是經過同行評審的期刊。我的部落格文章的特徵分析在Google Scholar上有六次引用,但在Scopus中只有兩次。這就是為什麼你的GS指數通常高於你的Web of Science和Scopus指數的原因之一。我的論文導師邁克·塞爾沃爾教授在GS中的h指數為47,在Scopus中為31,在WoS中為25。它們都是正確的,也都是錯誤的。這取決於覆蓋範圍和更新速度。

馬太效應 - 或者說“富者更富”。人們傾向於引用已經被廣為人知的研究人員引用的材料,要麼是因為他們讀過這些材料,要麼是因為他們要利用更知名人士的權威,或者兩者兼而有之。

多種動機 - 正如這個有用的漫畫所展示的,引文的動機有很多,其中很多與我們希望的“該給的榮譽”不太相關。

Jorge Cham的真實影響因子,PhD漫畫

 

即使一個人在引用時試圖儘可能誠實和準確,她也只能引用她熟悉的東西,而且一個人可以閱讀的文章數量是有限的(這再次成為綜述文章流行的因素之一)。她會引用她的教授、她的合著者、她在會議上聽到的人以及她所在領域的知名人士,但無論如何她都一定會錯過一些相關的材料。

儘管引文分析看起來很有吸引力,但它並不像我們想象的那麼準確。它只代表了科學世界的一部分,不應被奉為圭臬。

編輯:恐怕原帖中有一個錯誤 - 邁克·塞爾沃爾的Web of Science h指數是25而不是15。

MacRoberts, M., & MacRoberts, B. (1996). 引文分析的問題。 科學計量學, 36 (3), 435-444 DOI: 10.1007/BF02129604

MacRoberts, M., & MacRoberts, B. (2010). 引文分析的問題:對未引用和很少引用的影響的研究。 美國資訊科學與技術學會雜誌, 61 (1), 1-12 DOI: 10.1002/asi.21228

Priem, J., Taraborelli, D., Groth, P., & Neylon, C. (2010). altmetrics: 宣言 http://altmetrics.org/manifesto/

 

© .