心理学研究中应用统计方法应注意的几个问题2. 3 统计推论 统计显著性检验的基石是反证法和带有概率性的推论。它从虚无假设出发，视其被拒绝的机会，若虚无假设错，则其对立假设为真。这一决断的根据是，看在一次随机抽样中几乎是不可能出现的小概率事件是否出现。统计推论有其精妙之处，推论过程本身所犯错误的可能也较小，下文主要对统计显著性检验的思考兼谈事后解释的谬误。 2. 3. 1 对统计显著性检验的考量 很多研究的目的是想要显示某种断言或假设是正确的，如教改实验将新的教学方法和常规教学方法比较，希望新教法对学生成绩提高的作用较大，显著性检验的目的就是要评估数据是否提供了足够证据，可以支持这类断言。显著性检验通过回答一个问题来解决，实质上它也只回答这一个问题：虚无假设不正确的证据有多强？p值就是来做这一工作的。对此，有三个问题值得思考：（1）显著性检验的焦点放在不利于原假设的证据强度上是否妥切？（2）孤零零的显著性指标是否能告诉我们实际效应存在？（3）这个p值要多小才能令人信服？ 首先，来看显著性检验的焦点。显著性检验通常是考察总体中存在着某种效应（也就是研究者要证实的假设）的证据，如果这个效应足够大，就会在大部分样本中显示出来；反之，小的效应则通常会被样本的机遇变异掩盖，从而，大的效应比较容易被侦测出来。检验的主要“弱点”是它只考察原假设的证据强度，并没有告诉读者我们正在寻求的效应有多大或多重要，这点是应用检验时许多困扰的来源。 其次，统计显著性指标能告诉人们多少信息？显著性检验的结果与样本的大小有关，较大的样本会让显著性检验比较敏感。所以，当审视一项显著性检验结果时要特别留意样本大小，样本非常大时，即使结果的p值很小，也不见得有实际意义。比如，掷硬币1000000次检验硬币正面朝上的概率是否为0.503，结果p值往往很小，这一结果虽有统计显著性，却无实际意义。反之，样本很小时显著性检验的敏感度又常常不够，总体重要的真实情况可能达不到统计显著性的标准。比如只掷10次硬币检验硬币正面朝上的概率是否为0.5时，p值常常较大。没有达到统计显著性并不代表效应不存在，只是说人们没有找到合理的证据来支持它。同样，调查研究中，样本一般较大，研究者在探讨变量的相关时，所报告的相关系数值很小（如0.1）并能达到显著水平，这类结果的外部效度值得商榷：实践上看，这种显著的推论未必有实质意义，理论层面看，这一检验如此敏感可能是样本太大所致。此种情况下，本文建议：一方面要强调理论假设或推论的理论基础，另一方面应该把相关系数的显著性检验结果与其绝对数值的大小结合起来一起考察。 抛开具体情况，不管假设是什么，有一点是肯定的：观测值越多，p就越敏感。因为显著性受到样本大小的强烈影响，所以，统计显著性并不一定能告诉我们一项效应有多大或者实际上有多重要。 第三，“5％的显著性水平”是否置之四海而皆准？显著性检验用p值来描述样本是否提供了足够证据推翻虚无假设，但是要证明虚无假设不正确，p值要多大才能令人信服？应用者常会强调10％、5％、1％和0.1％等几个显著性水平，其中5％尤其常用，似乎成了一条约定俗成的铁律。正如Rosenthal所言：很多人所受的训练就是不要太仔细看数据。你建立一项假设，决定用何种统计检验，然后执行该检验，如果你的结果达到5％的统计显著性水平，你的假设就得到支持。否则就往抽屉一塞，再也不看这些数据[5]。确实如此，5％似乎成了一个魔术指标，尤其是论文想发表，就必须有5％的显著性水平，这似乎已经成了惯例，很多学者，如Cohen[11] 对之提出了置疑和批评，学术界也展开了心理学专业期刊是否应该封杀显著性检验的讨论，美国心理学会的回应是针对统计推论成立了一个专门的调查委员会，并发表了《心理学期刊中的统计方法——指导方针与解释》[12] 一文，该报告实际上是如何执行优质的统计工作的大纲。实际上，在“显著”和“不显著”之间并没有清楚的界限，事实上即使有也无法准确找到这一界限，因为0.049和0.051这两个p值，并没有多少实质的差别。只是在p值愈来愈小时，就有越强的证据否定原假设。 那么，该如何妥切的做出统计推论？以下建议可以参考：（1）了解统计显著性意义。（2）把p值和样本大小一起报告。（3）报告推论的置信区间。只有统计显著性不能得出让人信服的统计推论，因此有必要呈现置信区间，因为置信区间提供的信息较检验多，置信区间的宽度可以帮助我们把统计显著性的值定位的更准确，而且置信区间比较容易解释。此外，适当增加样本数目对置信区间也有很直接的影响，在同样的置信水平之下区间会更短。 2. 3. 2 事后解释的谬误 事后解释是典型的方法论谬误，是指在进行统计分析之前研究者并没有理论假设，而是根据统计结果生成“理论假设”，将它作为要检验的假设。事后解释混淆了建立假设与假设检验的区别，抹杀了数据的探索分析与正式的统计推论的界限。 在假设检验中刻意寻找显著性是一种典型的事后解释谬误。举例来讲，参加干部选拔考试，有些人最后成功应聘、身居要职，有些人却无功而返，是什么决定了这两类人不同的命运？可以找到这些应试者的资料，如他们的个性、目标、大学的表现、家庭背景、嗜好、习惯等。利用统计软件，可以轻而易举的对这些变量执行多个显著性检验，看哪些变量能够预测未来的成功。结果会发现，与被淘汰的人比起来，成功应聘者具有某些良好的背景或心理特征。在这个例子里，先把“好的”挑出来，然后又去对它做检验，好像并没有事先把他们挑出来一样，这样做混淆了数据的探索分析与正式的统计推论二者的区别。 在利用因子分析做研究时亦会犯同样的错误。利用同一样本先做探索性因子分析，根据其结果再做验证性因子分析验证之，就是一种典型的事后解释。因为利用同一数据进行假设检验根本不存在可证伪性，也就是说这种检验永远不会拒绝该假设。当研究者有意识的加以掩饰后这个问题很难从论文中发现。 事后解释的谬误不利于真理的发现。要解决这一问题，不仅要提高研究者的方法论素质，更需要提高研究者的科研道德水平。 3 小结 由于心理现象的复杂性，心理学研究中新的发现、结论和观点通常需要统计学的支持，随着现代心理学的发展，心理统计作为一种认识心理现象数量特征的重要工具受到了广大心理学工作者的重视。随着统计方法、技术的发展和电脑科技的进步，越来越多的复杂的统计方法如结构方程建模（structural equation modeling）、多水平分析（multilevel analysis）等广泛应用于心理研究中，推动了心理学理论的发展。 然而，统计方法是一把双刃剑，心理学研究中对统计方法有意无意的误用、滥用或多或少的存在着，造成了“垃圾进，垃圾出”的局面。如何摆脱这一困局，是心理学研究者应加以思考的。作为一种工具，无论多么高深的统计方法，都不能代替理论在研究中的地位，也不能弥补理论和研究设计上的漏洞，更不能成为掩盖理论缺陷的遮羞布，它始终要服务于、服从于理论的建构和发展这一中心。 【参考文献】 [1]边玉芳. 警惕心理学研究中的统计误用. 心理科学进展，2002，10（4）：447～452 [2]王重鸣. 心理学研究方法. 北京：人民教育出版社，1990 [3]候杰泰，温忠麟，成子娟. 结构方程模型及其应用. 北京：教育科学出版社，2004 [4]Thiede K W, Anderson M C, Therriault D. Accuracy of metacognitive monitoring affects learning of texts. Journal of Educational Psychology, 2003, 95 （ 1） : 66～73 [5]Moore D S. Statistics: Concepts and controversies （ 5th Ed） . New York: W. H. Freeman, 2001 [6]Gillie O. Crucial data was faked by eminent psychologist. Sunday Times, 1976-10-24 [7]Fancher R E. The Burt Case: Another foray: Review of R. Fletcher' s science, ideology, and the media: The Cyril Burt scandal. Science, 1991, 253, 1565～1566 [8]侯杰泰. 信度与度向性：高alpha量表不一定是单度向. 教育学报，1995，23（1）：135～146 [9]Bullock H E, Harlow L L, Mulaik S A. Causation issues in structural equation modeling. Structural Equation Modeling, 1994, 1 （ 3） : 253～267 [10]Hair J F, Black W C, Babin B, et al. Multivariate data analysis （ 6th Ed） . Upper Saddle River, NJ: Prentice Hall, 2006 [11]Cohen J. The earth is round （ p＜0.05） . American Psychologist. 1994, 49 （ 12） : 997～1003 [12]Wilkinson L. Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 1999, 54 （ 8） : 594～604 |
|
|
