8年前,一個雄心勃勃的專案開始嘗試重複頂級癌症實驗室的研究結果。
現在,這個名為“可重複性專案:癌症生物學”(RP:CB)的專案報告說,當它試圖重複從23篇高影響力論文(約10年前發表)中選取的實驗時,只有不到一半得到了類似的結果。
這項研究的聯合組織者、美國開放科學中心執行主任Brian Nosek說,這些發現“對臨床前癌症生物學的可信度提出了挑戰”。
他和其他相關專家認為,該專案表明,作者需要分享更多實驗細節,以便其他人能夠嘗試重複實驗。
12月7日,該團隊在eLife的兩篇論文中透露,專案最初設下的目標是,在53篇論文中選取30篇,對其實驗進行重複,但模糊的協議、不合作的作者以及其他問題,最終阻礙了這一目標的達成。
開放科學中心和科學交流公司在2013年設立了RP:CB專案,因為此前2家制藥公司報告稱,它們無法再現許多已發表的臨床前癌症研究。
專案目標是重複2010年至2012年間《科學》《自然》《細胞》等期刊發表的基礎癌症生物學頂級論文中的關鍵工作。
在某一基金會的資助下,組織者設計了由eLife進行同行評審的複製研究,以確保能完全地模擬最初的實驗。
實驗的操作由與其簽署合同的公司或學術服務實驗室進行。
工作人員很快遇到了問題——所有的原始論文都缺乏源資料、協議、統計程式碼和試劑來源等。
當他們聯絡原作者詢問上述資訊時,許多作者花了幾個月時間回溯這些細節。
只有41%的作者非常“樂於助人”,而約有1/3的作者拒絕或沒有回應。實驗開始後,其他問題隨即浮出水面,例如,腫瘤細胞的行為與基線研究的預期不符。
該專案最終將最初列出的53篇論文(包括193個關鍵實驗)縮減為23篇論文(包括50個實驗),並完成了其中18篇論文的所有實驗重複,以及其餘論文的部分實驗重複。
從2017年開始,每一項完成的結果都已發表(大部分發表於eLife),實驗總耗資150萬美元。
只有5篇論文的結果可以完全重複,其他重複實驗產生了混合的結果,有些是陰性或不確定的。
總體而言,在112個報告的實驗效果中,只有46%至少符合5個重複標準中的3個,例如同一方向的變化——促進癌細胞生長或腫瘤萎縮。
值得注意的是,重複實驗的變化幅度通常要小得多,平均只有最初結果的15%。
美國國立衛生研究院(NIH)負責外部研究的副主任Michael Lauer表示,這些發現“非常重要”。
同時,Lauer強調,較低的效應量並不令人驚訝,因為它們“符合發表偏倚”,即最顯著和最積極的效應最有可能被髮表。
Lauer說,這些發現並不意味著“所有的科學都不值得信任”。
專案相關負責人建議,資助者和期刊應該在要求作者更多分享其方法和材料上有所作為。
“大家都認為,重複這些實驗實在是又慢又難。”
科學交流公司執行長Elizabeth Iorns說,“如果資料、實驗方案和試劑都是現成的,實驗應該可以完成得非常快。”
Lauer表示,NIH將於2023年1月啟動的資料共享新規則應該會對此有所幫助。
來源:中國科學報(文樂樂)
審讀:孫世建
【來源:讀創客戶端】