分享

Nature:这样做出来的实验更可靠!

 GCTA 2022-06-11 发布于贵州
2021年9月15日,Nature上发表了一个评论,表明在Science和Nature杂志上,只有57-67%的文章是可以重复的,面对这个难题,作者提出了一些解决的方法。


如何提高可重复性?
拟议措施包括增加样本规模、预先注册协议和使用更严格的统计分析。我们确实认为,就可复制性而言,这些努力将得到回报。但如果发现科学中的每篇论文都采用这种心态,一篇典型的高影响力文章可能需要整整十年的工作,以及巨大的预算。这让我们想到了其他更有效的方法来获得可靠的科学。

●循序渐进的过程●

对一流文章,通常有三个主要期望:

第一,报告探索性研究的原始发现
第二,通过使用不同方法的进一步实验来确认表型或现象;(例如,使用多种方法抑制多种细胞系或啮齿动物品系的基因表达)
最后,提出解释结果的理论机制
由于研究小组自己工作不可避免地改变方法、模型或条件的限制,大多数文章最终都根据受限数据得出结论,而没有评估可推广性。因此,默认情况下,单个研究小组的文章应被视为初步文章。如果期望每份出版物的结果在其他环境、模型或人群中都成立,那么可复制性危机似乎是不可避免的。与其要求每位作者进行价值十年的确认性实验,不如通过其他机制来确定结论的有效性,不过这也许超出了论文的范围。

●通往可复制科学的道路●
还有什么其他方法来评估调查结果是否足够可靠?一种选择是利用不同研究小组的研究结果综合已发表的文献。另一个方法是组织确认性实验,这些实验专门用于评估鲁棒性和推广性。理想情况下,这些将结合不同实验室的多种方法和实验模型。小组之间的协调可以标准化数据收集,并保证获得结果,从而促进合成并消除出版偏见。
在科学的各个领域建立了不同类型的合作。几十年来,制药行业一直在管理多中心临床试验。从事遗传流行病学工作的财团汇集了来自不同人群的样本,以提高统计能力。

●分工,促进合作●
产生初步结果的探索性研究应与评估这些结果的确认性项目更明确地分开,作为改善过程两端的一种方式。探索性和确认性工作之间的独立性可以让科学家有更大的自由来探索假设,同时在测试时坚持严格性并防止偏见此外,每种方法都需要一套不同的能力,应该通过不同的指标进行评估。
如果编辑政策减少了对新实验的要求,避免了对临床潜力证据的要求,基础探索性科学将得到帮助。只要实验和分析不偏不倚,发表范围有限的孤立发现的论坛也会对探索有所裨益。这有助于审查、减少偏见和加速传播,同时减少将探索性研究装扮成验证性工作的动机,通过偷工减料(或对失败实验的描述)来讲述连贯的故事。
相比之下,大规模的验证性科学需要支持性的基础设施,而这些基础设施很少可用。需要为研究人员提供培训、资金和奖励,以便他们专注于管理合作、参与大型实验和合成数据——特别是因为这在一定程度上牺牲了学术自由。如果确认已发表研究成果的协调工作成为常规,它们还可以刺激普通科学家在发表前更加严格地评估研究成果,最终提高探索性研究的质量。

然而,所有这些都需要重新组织科学劳动,我们的倡议教会我们的一件事是,学术研究人员不习惯被告知该做什么。因此,大规模协作需要足够集中,以保证严格和遵守指导原则,但应保持一定的灵活性,以适应每个实验室自己的工作程序。

我们战略的关键是提出正确的问题,而不是指令性的。要求研究人员登记他们将如何使他们的研究盲目比强制他们如何做更灵活,但仍有助于消除偏见。另一个关键点是开发能够实现最佳实践的工具——从自动随机化平板上的样本分布到数据收集的标准化电子表格。

尽管如此,我们担心像我们这样的基层工作可能无法扩展。在过去的三年里,这一举措不仅让协调团队全神贯注,而且还经常与我们合作实验室的其他优先事项发生冲突。

一个更好的机制可能是建立由机构或资助者驱动的正式系统来管理合作项目。这种合作已经在特定领域存在,如美国国家老龄问题研究所、美国国防高级研究项目局(DARPA)和德国联邦教育和研究部。尽管如此,它们仍有空间变得更加广泛,也许与赠款申请或同行评审一样成为生物医学科学的一部分。

●改变我们的期望●

虽然按道理应该让一般论文更加严谨,但过分强调个别论文及其再现性不应影响我们得出正确结论的其他方法。与其期望每篇论文都能建立可靠的现象,不如改进对初步发现的系统确认。

为了实现这一点,生物医学科学界需要确信,应该将一些资源转移到更大的项目上,减少研究项目,提别是那些小的项目。资助者和机构必须更加积极主动地协调科学工作者选择和解决关键研究问题,而不是在相互竞争的实验室之间分散资源。这涉及到建立激励系统——在资金、职业发展和信用方面——以鼓励研究人员在更大的项目中承担更不自主的角色。科学协会和期刊也可以在确定某一特定研究领域的哪些发现对复制至关重要方面发挥作用——这是一个艰难的决定,需要科学界的广泛投入。

将再现性的负担从个体研究者转移到有组织的社区,最终可以提高被认为是科学事实的标准,也可以对科学的公共传播产生有益的影响。实现这一切的理想方式仍然是一个悬而未决的问题。但我们至少可以同意,它比一篇论文所能容纳的要大。


文章链接:https:///10.1038/d41586-021-02486-7

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多