關於元分析,你需要了解的 5 個關鍵點

知識是積累的。但研究結果可能會出現矛盾或誤導。你不能簡單地進行人數統計:3 項研究贊同減去 1 項研究反對就代表贊成。

加入我們的科學愛好者社群!

本文發表於《大眾科學》的前部落格網路,反映了作者的觀點,不一定反映《大眾科學》的觀點


知識是積累的。但研究結果可能會出現矛盾或誤導。你不能簡單地進行人數統計:3 項研究贊同減去 1 項研究反對 ≠ 贊成。那項說“不”的研究可能在有效性和效力方面超過其他研究。

如果你想確定研究結果的總和,你需要對研究進行研究。這需要一套專門設計的統計技術。元分析是將多個研究的資料合併和分析。

現在我們越來越被資料和矛盾的研究淹沒,你會更頻繁地看到元分析。以下是我“最重要的 5 個”概念和事實,幫助你理解它們。


關於支援科學新聞業

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道: 訂閱。透過購買訂閱,您將幫助確保有關當今塑造我們世界的發現和想法的具有影響力的故事能夠繼續存在。


1. 圖表引人入勝——不要只跳到結尾

當資料可以在元分析中彙集時,它們通常會以動感十足的視覺化圖表顯示。

它們被稱為森林圖。(別問我為什麼——似乎沒人知道。這可能與看到森林而不是樹木有關,也可能無關。但它絕對不是以一位福雷斯特醫生命名的!)

你需要理解森林圖的主要概念是置信區間 (CI)。它顯示了結果周圍的誤差幅度。

當你被問到“那需要多久?”時,你大致估算的就是置信區間。你回答“大約 5 到 10 分鐘”,而不是“7.5 分鐘”。這是關鍵資訊。(關於置信區間的更多資訊請點選此處。)

 

 

森林圖顯示了每項研究中結果的分佈。這張圖包括了 7 項關於“恐嚇教育”計劃的試驗。每條水平線顯示了一項研究的結果。線的長度從置信區間的一端到另一端。

中間的垂直線是無效點。如果一項研究的結果哪怕只是觸及到這條線,那麼該結果就不是統計學顯著的。如果一個結果完全在左側,則意味著該研究表明犯罪率下降。但合併後的結果在右側,表明犯罪率上升。

底部的菱形使用統計模型計算合併結果。如果確定性不高,菱形會分散且細長,但當資料更強時,菱形會變得矮胖而大。

你可能會遇到的另一種圖是漏斗圖。它用於檢查是否有理由懷疑陰性研究可能未發表,儘管這種技術的可靠性存在爭議。(我在這裡解釋了漏斗圖。)

2. 證據強度因結果而異

這是一個關鍵問題——而且不僅對元分析而言。這樣想。假設你對 25 個人進行了調查,他們都回答了前 2 個問題。但只有 1 個人回答了最後一個問題。你會對前 2 個問題的資料感到非常確定,不是嗎?但你對最後一個問題的主題一無所知。

研究和元分析也是如此。對於元分析中的任何特定問題,可能有不同數量的研究可以回答它。例如,每項研究可能使用了不同的測量尺度。許多研究甚至不會問分析中的大多數問題。並且各個研究中資料的質量也會有所不同。

這是人們在元分析方面最常犯的陷阱。他們說(或認為),“一項對 65 項研究、超過 738,000 名參與者的元分析發現了 xyz。”但對 x 的回答可能來自 2 項大型、高質量的研究,其中包含大量關於 x 的良好資料。對 y 的回答可能來自 48 項質量參差不齊的小型研究,其中包含關於 y 的資料。而對問題 z 的回答……嗯,你懂的。

3. 資料選擇和統計技術可能會改變結果

當元分析意見不一致時,混亂也可能升級。這可能有一個簡單的原因——例如,元分析師的問題並不完全相同,或者一個是更新的,並且包含一個重要的新資料集。

我在這篇文章中更深入地探討了這一點。正如我在那裡解釋的那樣,這有點像觀看一場足球比賽,場上有幾支球隊同時比賽。有些球員在所有球隊中,但有些球員只為一支或兩支球隊效力。每支球隊的球門柱位置略有不同——而且每支球隊不一定都遵守相同的規則。而且沒有裁判。

可以選擇不同的統計測量和模型。我將在以後的文章中討論一些特定於元分析的資料問題。處理這些問題的重要方法之一是預先計劃敏感性分析。當你知道這個或那個選擇可能會改變結果時,你可以計劃進行替代分析以考慮影響。如果你檢視“恐嚇教育”審查,你會看到他們已經這樣做了。(無論他們如何分析,他們的結論都保持不變。)

4. 並非所有元分析都相同

來自研究的各種資料集都可以進行元分析——並且以不同的方式進行。要考慮的一個關鍵問題是,它是否是系統評價的一部分,該系統評價尋找了關於該問題的所有相關研究。

許多人互換使用“系統評價”和“元分析”這兩個術語。但這很冒險,因為你不能想當然地認為如此。

還有不同型別的元分析研究。例如,這隻蟾蜍卡通中的那個是累積元分析。它繪製了第一項研究的結果,然後將其與第二項研究合併,然後與第三項研究合併,依此類推。你可以觀察到資料隨著時間推移的變化。

另一種型別是基於臨床試驗的個體患者資料元分析。一些或所有試驗者彙集了原始患者級別的資料——而不僅僅是研究報告中的彙總資料。這可以讓你獲得更高的精度,尤其是在參與者的亞組方面。

網路元分析又有所不同。它也稱為多重治療(或混合治療)元分析。它探索了原始研究人員未進行的比較——例如,比較兩種僅在針對安慰劑的試驗中分別測試過的治療方法。

然後是元分析的“勞斯萊斯”:前瞻性元分析。這可能是處理多項研究的最少偏見的方法。從一開始,著手進行原始研究的研究人員小組就同意如何彙集和元分析他們的研究,甚至在完全知道研究結果之前就達成一致。這是一個例子

5. 缺乏證據並不等同於沒有證據……大多數時候是這樣

最後但同樣重要的是:僅僅因為一項研究沒有找到某事的證據,這並不等同於證明它不存在。關於這一點,這裡有更多資訊

當多項研究在某件事上都空手而歸時,這可能非常具有說服力——並且很容易跳到那裡肯定沒有任何東西的結論。但要仔細觀察。

 

 

元分析可能最初用於天文學,並在 70 年代在社會科學中得到改進。它最近在醫學研究中真正興起。以下是一些連結,可以瞭解其在基因組、生態學、犯罪、教育、動物研究等領域的應用。

元分析是一種相對較新的統計技術,並且並沒有得到廣泛理解。人們可能會非常懷疑他們不理解的事物。

 

 

然而,試圖以任何其他方式理解大量資料的風險是巨大的。這是一張截至 1977 年的藥物試驗森林圖的一部分,當時元分析開始說服醫生其價值。

難怪對這種藥物存在競爭陣營。你如何才能從這些線條代表的大量論文中找出它的價值?它現在是降低心臟病發作後死亡率的標準治療方法,但在爭議激烈的多年裡,它並沒有得到廣泛應用。

元分析是複雜且容易出錯的。但請考慮另一種選擇。

~~~~

在我和保羅·格拉齊烏和伊恩·查爾默斯合著的這篇文章中瞭解更多關於衛生領域系統評價和元分析的里程碑事件,此處有更新資料

要查詢關於醫療保健干預措施的系統評價,無論是否進行元分析,請嘗試PubMed Health

對於基因組流行病學中的元分析,請從人類基因組流行病學網路 (HuGENet) 開始。

教育、犯罪和司法、社會福利和國際發展領域系統評價的起點是坎貝爾協作組織(C2)。(我還在此處撰寫了關於犯罪和司法領域科學證據的部落格。)

環境領域系統評價的起點是CEE——環境證據協作組織。

對於動物研究,請從CAMARADES開始——動物實驗研究資料元分析和評價的協作方法。

這些卡通是我的原創作品,主要來自Statistically Funny(知識共享署名-非商業性使用-相同方式共享 許可)。

“恐嚇教育”森林圖來自Petrosino 及其同事的系統評價。

鏈激酶森林圖的摘錄來自Antman 及其同事的文章。

 

 

* 希爾達·巴斯蒂安在Absolutely Maybe 上表達的觀點是個人觀點,不一定反映美國國立衛生研究院或美國衛生與公眾服務部的觀點。

 

© .