研究观点：多数社会心理学实验缺乏效度证据

发布时间：2020-09-01

文：北师大自我研究组

来源：SelfMindnSocialBrain（微信ID：SELF_BNU） 

01. 

社会心理学实验中的操纵检验

 

社会心理学中的实验操纵必须通过影响其预期的心理建构来展现其建构效度。那么，社会心理学的实验者如何才能建立其操纵的建构效度，其现状如何呢？

 

为了探究这个问题，弗吉尼亚联邦大学的心理学教授David Chester和心理学博士生Emily Lasko通过对《人格与社会心理学杂志》“Journal of Personality and Social Psychology” 2017年发表的348项研究中的实验操纵进行编码。

 

结果发现，大多数实验操纵是为了特定实验而专门创建的，未经预实验的验证。只有少数实验针对实验操纵的建构有效性进行了评估。

在所进行的操纵检验中，大约五分之二的操纵检验完全依赖于表面有效性，还有一些采用的是单项目的自我报告，只有少数实验操纵满足“真正”的验证。这些结果表明，在社会心理学实验中普遍缺少对实验操纵的实证性检验，这可能是心理学实验缺乏可重复性的潜在原因之一。

 

为了解决这些问题，研究者建议未来研究者在做实验之前验证操纵的有效性，具体做法包括：

（1）使用经过验证的操纵检验，

（2）标准化操纵协议，

（3）估算操纵效果的大小和持续时间，

（4）估算每次操纵对相关心理建构的不同影响来解决。

 

该研究即将发表在《心理科学观点》“Perspectives on Psychological Science”。想要了解更多细节性信息，可参阅预注册网址（https:///je9xu/files/）。

 

02. 

研究过程和结果

 

在社会心理学实验中，心理学家会诱发特定的心理状态，例如给研究参与者侮辱性或补充性反馈，以操纵他们的愤怒情绪。

为了以科学有效的方式进行这些实验性操作，研究人员必须首先确定其操作是否实际上影响了预期的心理变量（例如：使人感到生气），而不影响其他密切相关的变量（例如：使人感到悲伤）。但是，心理学家实际检查其操作有效性的程度仍然未知。

 

• 内部效度：当实验者消除可能偶然影响目标结果的无关变量，并且，最大化实验操作的特征时，内部有效性就存在了，这些特征确保了从操作到结果的精确的因果关系。

• 外部效度：确保实验能够捕捉“现实世界”中存在的影响，并确保实验结果能够推广到其他环境，人群，时间段和文化之中。

   

• 建构效度：当一个心理测量能够准确量化其预期的潜在心理建构，并与该建构的关系网络（nomologicalnetwork）中的其他潜在变量共享理论上适当的关联，并且，不会牵扯潜在无关的混淆性建构，则该建构有效。

   

• 操纵检验：对试图通过操纵加以影响的心理建构的测量。它不包括注意检查，理解检查和其他形式的教学性操作检查，因为这些并没有清楚地量化目标建构。

 

Chester和Lasko调查了348项实验操纵，这些都被同行评审研究包括在内。他们发现，大约有42％的实验没有有效证据，而且其余的心理操作都以极其有限的方式得到了验证。Chester说：“这些发现使心理学界最普遍的实践之一的准确性受到质疑，并表明该领域需要大力改进这一方法论领域的实践。”

 

该文作者认为，这项研究的发现并不表明实验心理学家的发现必然是错误的或无效的。Chester说：“我们没有发现这样的实验是无效的，相反，我们只是没有证据知道一种或另一种方法是多么有效。我们检查的几乎所有操作都没有提供必要的证据证明它们是有效的，但这并不意味着它们是无效的，它们的有效性只是未知。”

 

结果是，该研究表明“实验心理学的发现可能基于未经测试的基础。这个框架可能很弱，可能很强大，这两种情况都取决于许多因素。最后，两位研究者为实验人员概述了一系列建议性建议，以确保今后不会出现这种情况，以系统，准确的方式测试每种实验操作的有效性。以下26条lists供研究者自检。

 

最后，两位作者补充到，他们希望自己的发现能够鼓励实验心理学家在未来的研究中纳入效度证据。Chester说：“我们希望我们的论文能使实验者意识到他们研究的这一未经测试的方面，激励他们改变自己的做法，并提供准确地做出改变的路线图。”

 

03. 

本研究的启示

 

1.苏格拉底说过，未经省察的人生是不值得过的；该研究表明，未经验证的心理学实验操纵是没有价值的。

 

2.在社会心理学实践中才能更好地理解内部效度，外部效度，建构效度，和区分效度等概念的内涵。

 

3.确保研究的信/效度不但可以让文章更快发表，还能赋予它长久的生命力和可重复性。

 -  E N D  -

参考文献

 

David S.Chester, Emily N. Lasko. Construct Validation of Experimental Manipulations inSocial Psychology: Current Practices and Recommendations for the Future. Perspectiveson Psychological Science (in press), 2020 DOI: 10.31234//t7ev9

Virginia CommonwealthUniversity. (2020, April 30). Many published psychology experiments lackevidence of validity, study finds. ScienceDaily. Retrieved August 30,2020 from www.sciencedaily.com/releases/2020/04/200430110357.htm

 

作者介绍：本文转自北京师范大学“自我研究组”公众号 SelfMindnSocialBrain（微信ID：SELF_BNU），关注人格，社会与神经视角下的“心灵与自我”研究。

排版：小鲸鱼 Bobby