在对用户进行定量分析中,当我们无法通过“大数据”获取所有人的信息时,可以通过抽样的方法获取一部分人的信息,然后通过推论来了解这类用户的特点,也就是抽样调研。 在抽样调研中,从问卷或量表的编制、到人群抽样或被试筛选、到问卷或量表的发放,直至数据收回的漫长过程中,我们不仅要分析数据的结果和结论,还要思考如何衡量研究过程的效果,调查质量的高低,以及数据可推论的到总体的程度,这就需要通过信度和效度来表达。
1)信度(Reliability) 指测量结果的稳定性程度,换句话说,对同一特质反复测量,结果的一致性程度。比如,某测量体重的产品,连续三次站上去测量出来的体重差异很大,说明这个体重秤的信度很低。信度有以下几类: 不同信度的使用前提、适用对象及计算方法都有差异,如高考作文评分、职业选拔中的面试,就有必要考虑评分者之间的一致性,一致性高,评分者信度高。上述的体重称多次重复测量结果不一致,指的就是重测信度很低。 指是否反映了欲测量的特性及程度。比如,HR想通过问卷了解一个人的社交能力,问卷中却出现大量的管理能力的试题,这样无论在特性上,还是程度上都会受影响。效度一般有以下几类: 不同效度的使用前提、适用对象及计算方法都有差异,如上述HR的问卷,显然是内容效度很低。 我们把需要测的东西比喻成靶心。
从信度和效度的定义可以看出,根据不同的需求,我们可以用不同的信效度计算方法,从而得到对调研结果的不同解读。下面介绍一下如何解读调研结果。 下面虚拟一个顾客对玩具偏好分析的研究,带大家一起来看一下如何分析与理解信效度~ 假如,我们找100个大人对10类儿童玩具进行评分,分数为1-10分。大家也可以假想成对其他产品进行评价、对某产品各方面的评价、或者对某产品的多个功能进行评价等。 效度分析常用因素分析法,因素分析通俗地理解就是把问卷或量表分成几部分,每部分代表一定的意义,并且每部分内的题目间有密切关系。 基本思想是通过对变量的相关系数矩阵的内部结构的研究,找出能控制所有变量的少数几个随机变量去描述多个变量之间的相关关系,但在这里,这少数几个随机变量是不可直接观测的,通常称为因子。然后根据相关性的大小把变量分组,使得同组内的变量之间相关性较高,但不同组的变量相关性较低。 因素分析主要有两种:
如果已经有编制好的成熟的问卷或量表,说明已经有了内容效度(别人已经指明了问卷是测什么的了),我们只需要通过验证性因素分析验证结构效度即可。探索性因素分析适合于在没有理论支持的情况下对数据的试探性分析。对于上述虚拟的关于玩具评价的调查,我们需要先进行探索性因素分析。
探索性因素分析可以通过SPSS进行,主要指标及解释见下表: 根据以上结果确定各个维度的题目(说明哪些题目是测哪个维度的),并根据同一维度下题目的特点,对各个维度命名(即内容效度,说明自己要测的是什么)。假设我们通过SPSS进行了数据分析,下面解读一下分析结果。
看是否适合因素分析
把探索性验证分析的结果放到结构方程中拟合形成模型,再看拟合指标是否合适,并进行调整,模型拟合程度良好说明该量表能够在一定程度上测量自己想要的东西。 拟合指标:需要把自己的模型与饱和模型(估计所有参数,包括题目间的相关)比较,因为饱和模型含有所有的信息,估计了所有的参数,如果比较结果差异不显著,或者比较的“相似度”高,说明预设模型保留了饱和模型中的大部分信息,可以使用。 验证性因素分析一般通过AMOS或LISREL进行,通过拟合指标来检验: 验证之前的结果,从图中看出,第5题因子载荷小于0.35,可以考虑删除。其他题目没有问题,同时假设其他拟合指数符合上述指标,整个问卷的效度还是比较理想的。 在调查研究中,常用同质性信度,又称内部一致性信度,其中克隆巴赫α(Cronbach’s α coefficient)系数适用范围比较广,也是最简单易行且常用的方法。 一般计算方法是在SPSS中选择Reliability Analysis,然后对问卷整体或某一个维度内不同题项进行分析。 DeVellis(1991)认为,克隆巴赫α系数在0.65~0.70为最小可接受值,0.70~0.80相当好,0.80以上是非常好。 分别对两个因子的信度进行检验,结果如下表: 根据表中数据可以看出,两个因子的效度都可以接受,说明问卷稳定性比较好,测验内部一致性程度比较高。
误差主要有系统误差、随机误差和抽样误差三类,有些文献把抽样误差归于随机误差内,下图为误差与信效度的关系。
|
|