|
说到开放科学open science，不得不提一本书：The 7 Deadly Sins of Psychology - A Manifesto for Reforming the Culture of Scientific Practice (by Chris Chambers). Chris是致力于open science的心理学家，也是我为数不多尊敬的人之一。他写这本书是抱着失望而又置之死地而后生的革命精神。这本书狠狠的揭心理学研究的伤疤，细数了阻碍心理学发展的七宗罪，并倡议对此作出改变，改革我们现在做心理学研究的风格和方式。在书的一开始，Chris变引用了F. Scott Fitzgerald的一句话： “One should be able to see the things are hopeless and yet be determined to make them otherwise.” （“我们要意识到事情糟糕得无可救药，但却同时有决心让其脱胎换骨。”） 接下来一周七日的头条文章里，我将陆续向你们呈现这七宗罪。这一次，第一罪：偏见 （Bias） 发表偏见（publication bias）：预知未来？！ 要是给历史上最荒谬的研究，预知未来这个心理学实验应该可以排前三了。 2011年，Daryl Bem发表了一篇文章，声称人类可以预知未来。 在实验中，Bem巧妙的反转运用的priming （reversed priming task）。 在一个标准的priming范式中，被试需要对展示的图片做出相应的情感反应。比如通常下图可以使得被试给出愉悦的情感反应。 同时，joy（开心）这个词也可以prime出愉悦的情感反应。那么，当我们给被试展示joy，然后上图的时候，因为两者是和谐的，被试能够很快的给出对应的情感反应。但是，如果我们给被试展示murder（谋杀），再展示上图的时候，两者能够激发的情感是相反的，这种矛盾会导致被试更慢的给出对应于图片的情感反应。 而Daryl Bem把这种标准的priming范式反着来进行（reversed priming task）。他要求被试先给出情感反应，再向他们展示单词和图片。神奇的（荒谬的），Bem发现事后展示的primes可以影响事先给出的情感反应的时间。所谓的预知未来。 理所当然的，这篇文章发表之后惹来众议。当科学家们想要验证某个理论的时候，他们怎么做呢？ 没错，replication！重复性实验！ Chris French & Stuart Ritchie便是很多实验室之一针对这个研究进行了重复性实验，根本没有发现可以证明人能预知未来的任何证据。然而，当他们把文章递交给发表了Bem的文章的期刊（Journal of Personality and Social Psychology）时，被拒绝了。 这便是心理学界（或者在其他领域也是）的其中一个偏见：publication bias （发表偏见）--- 期刊杂志偏好于发表显著，positive effect的研究，不喜欢接受不显著，null effect的研究；喜欢发表原创有意思的，证明已有理论的研究，不喜欢发表重复性实验研究。 这里需要强调的是，没有任何一个科学家反对科学需要原创需要创新需要挑战常规，但是要让科学稳步前进，使其有真正意义上的发展，我们必须对所有研究一视同仁。诚然，很多positive effect （例如能够“证明”人能预知未来）的文章非常创新非常sexy，但是它们很有可能是错误的。 发表偏见不仅让有可能反驳已验证理论的研究无见天之日，同时，在如此publish or perish的风气之下，也在变性的鼓励科学家们不去重复验证实验或理论，而一味追求性感的研究。 确认偏见（confirmation bias）：选择任务AD47 我们每天所谓的做科学，其实就是通过收集数据（Data）来检验（test）一个假设（Hypothesis）。当你做实验、收集数据的时候，心里想的是什么呢？“我在检验甚至尝试反驳（falsify）一个假设” 还是 “我在证明（confirm）一个假设”？数学上，我们可以表达为 P(data | ~hypothesis) vs P(data | hypothesis). 如果是后者，那么其实你心里已经有答案了。你已经主观上认为某个假设是否为真，true or false，某个效应是否存在，是否significant，或者是否p<0.05。而你做实验，只是在寻找能够支持你主观观点的证据而已。这会影响到数据收集，数据分析，进而影响实验结果和研究结论。即，确认偏见（confirmation bias）。 修昔底德说过： “When a man finds a conclusion agreeable, he accepts it without argument, but when he finds it disagreeable, he will bring against it all the forces of logic and reason” （“当一个人认同一个结论的时候，他会无丝毫争议地接受。而当他不认同的时候，他会竭尽所力用逻辑和理性打到它”） 说到这里不得不提一个著名的实验。这个是第一个证明了确认偏见真实存在的实验：选择任务AD47。
你会选择哪张呢？ 在两张字母牌中选择的话，很多人都会选择A，而避开D。这是正确的。因为我们需要的检验的假设是“A-4”。翻开A，看看背面是否是4。如果是，（目前来说）假设检验为正确。如果不是，假设检验为错误。但是如果翻开D的话，不过它的背面是什么数字，都是对于我们假设检验毫无贡献的。 接下来戏肉来了，在两张数字牌中选择的话，你会选择哪种呢？
我们需要检验的假设是“A-4”。我们之前已经证明了A的背面是4，我们现在需要证明的是A的背面只能是4。如果我们翻开7，发现它的背面是A，那么我们检验假设为错误。而很多人选择4而不是7正正证明了很多人对待假设的态度是confirm而不是falsify。这种confirmation bias是我们在做科学的时候需要避免的。抱着证明假设而不是检验假设或者反驳假设的心态，会无法客观的找寻证据、收集数据。 在这两种偏见，确认偏见和发表偏见，再加上其他因素之间的相互作用，慢慢的，心理学被假阳性研究结果、被无科学意义的文章淹没。
改革潮流：开放科学 不满意现状最好的方法就是改变现状。支持并实行开放科学，open science，就是最有效的方法。 而针对于发表偏见和确认偏见，Center for Open Science的registered report就是很好的解决方法。 Registered Reports -peer review before results are known to align scientific values and practices。以下简称RR。
传统的方式是：我有一个idea ---> 我做实验，收集数据 ---> 我写paper ---> 我递交paper ---> peer review ---> 发表paper。 而RR提倡的方式是：我有一个idea ---> 我先把paper1 写好，这个paper1除了实验数据基本上什么都有了 ---> 我递交paper1 ---> peer review 1 ---> idea和paper 1被接受 ---> 按照paper 1中我说的方式，我做实验，收集数据，做数据分析，完成paper 1剩下的部分，变成paper 2，递交paper 2 ---> peer review 2。
作为Center for Open Science的大使，Sharon在最后必须喊一句，支持开放科学，站在历史正确的一边。 Sharon 写于2017年10月12日 |
|
|
来自： Zsy20151225 > 《为人处事/心理学/谋略》
Wason告诉被试，现在有一个不变的定律，在一张有两面的卡片，一面是数字，另外一面是字母 （如上图是两张卡片的四面）。然后再告诉被试一个假设（记住，是假设），这个假设可以是真的也可以是假的：“如果一面是字母A，那么另外一面就是数字4”。最后，Wason问被试：“你想翻开哪些牌去检验这个假设？”被试需要做的就是翻开有信息价值的牌，而不去碰不能提供任何有用信息的牌。
思考完了么？你是不是选了4恭喜你，
你跟很多人选的是一样的，是错的。
正确的答案应该是翻开7，而不是4。
by Chris Chambers
RR是一个具有改革意义的做科学的方式。
这种方式之所以是有革命意义，是因为有两个阶段的peer review，而其中一个发生在收集数据之前。所以，peer review 1只能根据你的idea的价值对你的研究做出是否接受的决定，而不是你的数据是否显著，是否证明假设，或者是否p<0.05。最大可能的降低了发表偏见和确认偏见。只要通过了stage 1 peer review，科学家们需要做的就是根据自己写的paper 1收集数据，撰写论文。
这不仅是正确的做法，而且已经成为潮流趋向。
