分享

如何面对可重复性挑战

 梅竹君 2016-02-18

↑↑点上面蓝色小字 | 关注↑↑

我们是中科院主管、科学出版社主办,与日本知名科普杂志Newton版权合作的一本综合性科普月刊。

【如需转载,请在后台留下您的公众号,

获得授权后方可转载】

研究成果的可重复性

研究成果的可重复性是科学研究至关重要的一环,但随着科研方法和系统日趋复杂,编辑和审稿人越加难以判断研究是否满足这一重要条件。《科学世界》2015年第10期“心理学研究的可靠性”一文曾报道只有一半的心理学研究得以复现。近期,Nature重点关注了这一现象并发表了一系列文章,其中Regina Nuzzo介绍了科学家是如何“自欺欺人”以及他们是如何力图避免这一点的。除了上文提及的心理学研究复现,Nuzzo还引用了一项对肿瘤学和血液学53个里程碑性研究的重复实验,而只有6个得以复现;以及另一项对18个基于微阵列的基因表达方面研究的重复实验,能够完全再现的只有2个。


影响可重复性的因素

科学家其实在20世纪中叶就已认识到,实验者和被试都可能在无意中改变自己的行为,已满足预期假设,于是引入了双盲标准。随着科研竞争的压力越来越大,一些新问题也随之出现,心理学家Brian Nosek说道:“我并不想给出误导性的结果,但我确实能够从成果中获益,这给了头脑强烈的动机去寻找它预期的结果。”其次,对大数据的研究也容易受到认知偏差的影响,很容易从数据海洋中筛选出一些满足统计性差异的数据,而实际上没有任何意义,比如《科学世界》2015年第8期“巧克力、减肥及其他”所说用吃巧克力来减肥的“钓鱼”研究。此外,对结果的不对称关注也是偏差的成因,科学家常常会放过符合假设的数据,而对不合预期的数据严格检验。一项研究观察了3个顶尖分子生物学实验室的165项不同实验所涉及的争论,显示当结果与预期不符时,88%的情况下科学家们会指责实验方法的问题导致了数据前后不符,而不是怀疑他们的理论。而要是结果一致,则几乎不会对实验仔细检查。以上每一种认知偏差,都在破坏科学的进步。“科学就是我们愚弄自己和我们避免愚弄自己之间的竞赛。”




如何保证可重复性

对于这一严峻挑战,一种解决方法是复苏旧传统,在提出假设时仔细考虑与之相竞争的可能性,并在允许的情况下用实验区分它们。第二种方法是更为开放的科研,包括分享实验方法、数据、代码和所有结果。Nosek认为:“我在如何处理数据和选择哪些数据报道上有着极大的灵活性,这就会产生利益冲突。对我而言避免这种情况的唯一方法就是在发表论文前就束住手脚。”第三种更激进方法是改革成果发表模式,科学家将实验前的研究计划递交同行评议,如果被接受的话,则出版方保证无论成果是强是弱都可以发表。第四种方法是邀请学术竞争者一起进行对抗性合作,相互发现对方的破绽。最后一种方法是盲分析,例如创建一个假设的数据库,研究者在这个数据库中进行数据处理,而后将处理方法移植到真实数据库中,天体物理学家Saul Perlmutter使用了这种方法处理超新星宇宙学的数据,他说:“这会增加很多工作,但我认为这会让你对你的处理感觉更放心。”



    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多