一項耗資200萬美元、歷時8年的可重複性研究於近期結束，專案組的初始目標是復現發表在Nature、Cell和Science等期刊上的53篇高引用癌症研究論文中的193項實驗。根據專案組在eLife上發表的兩篇總結性論文來看，能夠重複論文部分結果的只有不到一半。
圖源：Patrick Hertzog/AFP/Getty
已發表的論文可重複性差長期以來一直是生物醫學界所關注的問題，2010年開始，幾個旨在深入研究問題癥結所在的大型實驗專案陸續啟動，由兩個非營利性組織 Center for Open Science（COS）和 Science Exchange 於2013年合作發起的此項研究也是其中之一，這也是迄今為止進行的最嚴謹的可重複性研究專案之一。
他們選擇的領域是癌症生物學，最初的計劃是復現53篇論文中193項實驗，但是最終該團隊只完成了23篇論文中的50項實驗，並發現他們獲得的結果通常遠沒有原始論文中報告的結果那麼明確。當然這並不代表他們的有意挑戰原始論文的結論——復現過程中面臨的種種問題可能正是可重複性差的原因之一。
每篇論文都被分配給了一組研究人員，他們收集必要的資訊來撰寫一份實施方案，也可以看做是一篇準確描述他們計劃如何重複和分析實驗資料的論文，這些方案在接受同行評議後在eLife上發表，這個步驟旨在透過闡明計劃來提高透明度。然後，團隊進行實驗並將結果與原始論文的結果進行比較。雖然這些研究中有少數成功地複製了原始論文的關鍵部分，但許多研究只能複製一部分或者無法清楚地解釋結果。
例如，在原始研究中具有統計學意義的97個數字效應（如某一特定代謝物濃度的百分比增加）中，只有42個在重複研究中具有統計學意義且方向相同。有7個在統計學上具有相反的意義——原始研究中的增加在重複研究中變成了減少，其餘的是統計學上不顯著的，或者說是無效的結果。
造成這種結果的原因可能很複雜，其中一個重要原因可能是缺乏資訊：在該專案指定的53篇論文中，沒有一篇僅透過這些論文字身描述的方法就可以啟動實驗。因此，對於他們試圖復現的每一項研究，都需要聯絡原作者索取有關材料、實驗方案、分析和其他細節的資訊。該團隊的資料顯示，對這些請求的回應喜憂參半：一些作者非常樂於助人，回答了許多問題後甚至還會提供實驗材料。但是也有 32% 的作者“根本沒有幫助”——通常是完全沒有回應。這種溝通的不順暢，直接導致實驗開始後發現許多細節需要修改，造成了時間和經費的損失。平均而言，該團隊需要197周來複現一項研究，而每次實驗的成本高達53000 美元——大約是團隊最初預算的兩倍，這導致許多實驗無法完成最初預定的目標。
馬德里國家心血管研究中心的 Miguel Del Pozo 的一篇論文被選中進行復現，他很樂於看到這個專案的努力，與多位同事和合作者進行了協調，以幫助 COS 的研究人員獲得他們需要的資訊和材料。但他指出，他在2011年的實驗過程與COS的不太一樣，患腫瘤的小鼠一旦腫瘤負荷過大就會出於倫理原因被安樂死，原始研究中的這一時間為70天，而復現研究中的小鼠45天就掛了。COS 的研究人員也認為，無法對兩項研究結果進行明確的比較。Del Pozo 補充說，一般而言，原始研究和復現嘗試之間的差異通常可能歸結為專業知識——一些生物醫學技術可能需要數月或數年的時間的磨練，因此它難以在另一個實驗室中重現也就不足為奇了。
巴西可重複性倡議的協調員、巴西里約熱內盧聯邦大學的神經科學家 Olavo Amaral 表示，復現非常困難——“你永遠不可能做到完全一樣，如果上下搖晃管子而不是左右搖晃，這會有影響嗎？如何解釋不同的基線讀數？”
並不是每個人都相信復現工作有價值，尤其是來自研究結果未能成功復現的那些作者。加利福尼亞州拉霍亞 Sanford Burnham Prebys 的癌症生物學家 Erkki Ruoslahti 說：“我不確定這些一次性實驗有多大價值。”——2017 年，復現團隊報告說，它無法證實 Ruoslahti 論文中的結論， Ruoslahti 則認為，外部實驗室至少重複了這個“有爭議的結果” 20 次，這項工作產生的候選藥物現已進入II 期試驗。“我很難相信所有論文中有一半是無效的，”他說。
COS 的執行主任 Brian Nosek 表示，一些論文復現失敗並不能說明太多問題，而且相互矛盾的實驗結果還可能帶來更深入的科學見解。整個復現研究專案並不是為了證明某項特定的研究無效，真正的目標是找到導致復現率不高的各種因素和評估復現率到底有多低，最終提出系統化的解決方案。他認為，除了對發表論文提出更大的樣本量、更高的統計嚴謹性和研究計劃的預註冊等技術要求外，與復現工作的有關的激勵措施和研究文化是更根本的問題。
布里斯托大學的生物心理學家兼英國可重複性網路指導小組主席 Marcus Munafò 表示，對於一直關注科學研究中的可重複性問題的研究人員來說，這個結果可能不太令人驚訝。 科學界傾向於將復現視為人身攻擊而不是促進學術交流的機會，並將論文視為已完成的產品而不是正在進行的科學過程——因為現行的制度關注的是產出而不是過程，這就是我認為從根本上需要改變的地方。
參考文獻：
1.https://www.nature.com/articles/d41586-021-03691-0
2.https://www.the-scientist.com/news-opinion/study-finds-reproducibility-issues-in-high-impact-cancer-papers-69490
