|
前段时间有许多小伙伴都在问怎样设计更为优质的问卷？为了解决这一问题，学堂推出了量表信效度系列，超详细的为大家讲解如何对问卷进行试测,调整问卷结构,设计更为优质的问卷。此系列文章专门为信效度分析的初学者准备，内容全面、丰富，大家可以根据自己的需要慢慢学习，后续文章将持续更新中！ 01. 信度 一、信度概述 信度( (reliability)又称稳定性或精确度。用以反映在相同条件下,对同一客观事物测量若干次,测量结果的相互符合程度或一致程度,说明数据的可靠性。当使用同一测量工具重复测量某一客观事物时所得结果的一致程度越高,则该测量工具的信度就越高。 信度包含两层含义:一是相同的个体在不同时间,以相同的泱量工具测量,或以复本测量,或在不同的情景下测量,是否能得到相同的结果,即测量结果是否随时间和地点等因素而变化;二是能否减少随机误差对测验结果的影响,从而能够反映测量工具所要测量的真实情况,即测量结果是否具有稳定性、可靠性和可预测性。一个好的测量工具必须是稳定可靠的,且多次测量结果应前后一致。 二、信度的分类 信度的分类通常可以分为以下4大类： ●重测信度( Test-retest Reliability) ●复本信度( Alternate- orm reliability) ●内部一致性信度( Internal Consistency Reliability) ●评分者信度 Scorer Reliability 1、重测信度 重测信度是指用同样的测量工具,对同一组被调查者间隔一定时间重复测试,两次测试结果的相关程度。重测信度可以通过两种途径进行考察: 途径1：计算两次测试结果的相关系数,如果经过统计检验,相关关系有统计学意义,则认为测量工具的信度高,否则信度低。也有人提出,测量工具的重测信度可以接受的标准是两次测试相关系数在0.7以上 途径2：对两次重复测试结果进行两个相关样本差异的统计检验,如果差异有统计学意义,则认为测量工具的信度低,否则,信度高。 2、复本信度 复本信度法是让同一组被调査者一次填答两份问卷复本,计算两个复本的相关系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调査问卷达到这种要求,因此采用这种方法者较少。 3、分半信度 分半信度常用在不可能进行重复调査的情况下。其计算方法是将调查的条目分成两半,计算这两半测量结果的相关系数r,又称分半信度系数,以此为标准来衡量整个量表的信度。 分半信度是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。分半信度属于内在一致性信度,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中态度测量最常见的形式是5级李克特( Likert量表）。 4、Cronbach's a信度系数 Cronbach’sQ系数是 Cronbach于1951年创立的,用于评价问卷的内部一致性。α系数取值在0到1之间,Q系数越高,信度越高,问卷的内部一致性越好。 Cronbach’s a系数不仅适用于两级记分的问卷,还适用于多级计分的问卷。 a系数评价的是量表中各题项得分间的一致性,属于内在一致性信度系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 低信度：a<0.3.5,中信度:0.35<a<0.70,高信度a>0.7，一般的，问卷a系数在0.75以上改问卷才具有使用价值。 5、评分者信度 考察评分者信度的方法为,随机抽取相当份数的问卷,由两位评分者按记分规则分别给分。然后根据每份问卷的分数计算相关系数,航得到评分者信度。评分者信度也可以是一位评分者两次评分的相关系数。如果是多个评分者或位评分者两次以上的评分,可采用肯德尔和谐系数和 Kappa系数。肯德尔和谐系数用于等级资料, Kappa系数用于定性资料。 三、提高信度的方法 提高信度的方法问卷的信度越高,受到人、时、地物的干扰就越低,其所能反应事实或让人相信的程度越高,因此在问卷实施前如何有效提高信度是问卷测验成败的关键。通常提高问卷信度的方法有以下几种方式: 1、适当延长问卷的长度 问卷题目较多,其在一定程度上排除了偶然因素的影响,从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加并不总是成正比的,当信度系数较小时,延长问卷长度,问卷的信度系数增加较大;而当信度系数较大时,延长问卷长度对信度系数的影响就较小。 2、问卷的难度要适中 当问卷题目难度太大时,问卷得分普遍过低;当问卷题目难度太小时,问卷得分普遍较高。问卷题目太难或太易都会使问卷得分差异减小,使实得分数方差减小,从而降低了问卷的信度。 3、问卷的内容要同质 内容同质的问卷,要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度,问卷的内容应尽量保持同质。 4、测试的时间要充分 份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时,问卷的得分就不能反映答卷者的真实情况。 5、测试的程序要统一 问卷题目要统一,指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一,这些是问卷有较高信度的基本保证。 02. 效度 一、定义 效度指问卷内容是否能真实反映其所调查的内容。 二、作用 1、效度是科学量具最重要的必备条件，选用标准测验或自行设计编制测量工具，首先应评价其效度。 2、效度是测量与被测之间的一致程度，有些测量能完全适合某个目的，但未必适合其他目的。 三、分类 根据美国心理学会《教育与心理测验标准》，可分为三类： 1、效标关联效度：指在一定的条件下，问卷对被访者的操作行为所作预测的有效性。 （1）预测效度：指问卷结果和未来某一效标之间的关联程度，常用来预测个人未来某一方面成功的可能性。如：中考模拟考试成绩准确的预测了某学生在学校四年的表现。只需要看二者有较高的相关程度，则说明调查是有预测效度的。 （2）同时效度：问卷的结果与现有效标间的相关程度，常来佐证问卷的有效性。例：对同一群被访者做已验证过的调查，比较二者的分数，若相关性高，则为同时效度。 2、内容效度：指一份问卷对所要调查内容的覆盖程度或代表性程度。例：若某问卷想要调查顾客对各个岗位工作人员的服务满意度，各人员包括：导购员、收银员、保安员，若问卷中只提到导购员、收银员，则缺乏内容效度。 3、结构效度：结构效度的概念最初是由美国心理学会(APA) 、美国教育研究协会(AERA) 和美国国家教育测量协会(NCME) (1954) 联合委员会提出,发表于《心理测验和诊断技术的技术建议》,本意是用于当测验者所测属性没有确定的标准测量,而必须使用间接的测量来证实理论有效的时候。发展到现在，结构效度是指一个测验实际测到所要测量的理论结构和特质的程度，是指实验与理论之间的一致性，即实验是否真正测量到假设（构造）的理论。 4、聚敛效度：指使用不同的方法测量相同的特质或者构念的多个观察变量在该构念上的聚敛程度，若用不同的测量工具去测量同一个个体的结果时，聚敛效度高意味着观察变量在对应的因素构念上会有较高的因素负荷量，且观察变量间有较高的相关，则聚敛效度高。 5、区分效度：指检验不同因素构念间的差异性程度。常用的检验指标是：比较两个因素构念的平均方差抽取值与两个因素构念间相关系数的平方，如果前者均大于后者，则表示两个因素构念间有良好的区别效度。 四、提高效度的方法 效度代表着正确性，一份问卷的效度越高，表示其测验结果越能代表其测量对象的真实特征。提高效度的方法如下： 1、问卷的设计要科学合理: 问卷的内容与效度有着很重要的关系，若内容设置的科学适中，则效度高，反之，会影响效度。如：各个题目的设置要有清晰明确的概念、题目的难度要始终、题目的编排方式要合理等。 2、谨慎选择样本： 要选择有代表性的样本，样本越有代表性，越会体现出问卷的主体特征，在其他条件相同的情况下，样本分数的全距越大，效度系数会越高。 3、重视问卷的回收率： 若回收率低则可能不会有代表性，无法正确的反应测量对象的特质。 4、效标的合理性： 效标是效度的先决条件，要根据内容构建适合的操作，若选择不合理的效标，则无法体现出任何的价值。 5、注意受访者的状态： 在问卷的填答过程中，受访者的状态是影响效度的重要因素，若受访者心不在焉或者勉强作答，甚至态度很消极，则会影响到问卷结果的准确性。 6、保证测验环境无干扰： 若被访者处于嘈杂喧闹的外在环境或者外在环境无法被研究者控制，则会使被访者受到干扰，需要排除无关的干扰，避免其影响到问卷的正确性。 03. 信度和效度的关系 信度与效度见的关系并非对称的，其中信度是效度的前提和基础，效度是信度的目的和归宿。任何测量，只有做到两者的辩证统一才会具有科学性。 信度是效度的基础。测量要有效度必须有信度，没有信度就没有效度。一项测量如果信度低，则效度也低，因为若测量不能稳定地测量所需测量的对象，就不能有效地说明测量对象；如果信度高，效度可能高也可能低。一项测量如果效度高，则信度一定高；但是，如果效度低，信度可能高也可能低。值得注意的是，信度与效度二者缺一则测量无效。 下面以图解的方式呈现了效度与信度之间的关系。测量目标就是射中靶心，信度就是点的密集形态。  |
|
|
