如何保证调查问卷的信度与效度信度与效度是社会调查及项目评价中关键的两个概念。社会调查的问卷设计，项目评价的评价指标体系设计都必须以信度和效度
理论为基础。信度和效度水平的高低，直接决定着社会调查和项目评价的成败。调查问卷的问题设计和项目评价中评价指标体系的设计，统称为调研
指标体系设计，简称为指标体系设计。信度信度是调研数据与项目评价数据可靠性的重要指标，是数据的可靠程度。信度反映的是调研数据的客观性
，即针对收集到的数据，要检验这些数据是否能反映客观现象，不是随意填报的。在数据分析中，为了能够对数据的信度实施检验，通常在设计指标
项时，需要做好以下准备工作：?精心设计每一个指标项，主要包括三个方面的内容：从同一问题不同的侧面设计调查指标项；有意识地设计出某
些校验项；针对同一组样本多次测量。?基于小样本调研数据分析其信度，主要包括四个方面的内容：对相关数据项进行一致性检验；总体属性和
子属性的一致性检验；复本数据的一致性检验；校验项的一致性检验。信度检验方法1、调研指标体系的设计；在调研指标体系中，设计针对调研问
题的总评价项与子指标项，以便相互印证。例如在对教学情况的评价中，可以先设计一个问题：你对教师教学的总体评价是几分？然后再分别从教师
师德、教法灵活性、教学媒体使用情况、与学生的沟通交流情况等不同视角设计调研问题。在调研指标体系中，应该有意识地设计若干个校验项，以
便印证调研数据的信度，判断被试对象对调研问卷的填写是否有随意性。在设计校验项时，当大多数问题都是正向问题的情况下，通常可对充当校验
项的问题设计为逆向问题。2、调研规范操作；从调研操作的视角看，为了保证调研数据的信度，避免因调研信度不足而导致的研究结论偏差，通常
采用逐步修正法和德尔菲法对调研指标系统进行完善。逐步修正法：对于已经初步完成的调研指标体系，可先在小范围内试用，通过试用过程获得到
小样本数据，分析指标体系的信度，发现指标体系中描述不准确、容易引发错误理解或者覆盖面不够完善之处，然后修正调研指标体系。德尔菲法：
对于已经完成设计的调研指标体系，发送给相关的行业专家，请行业专家把关、指正，从而保证调研指标体系的科学性。规范调研过程，避免随意填
报：谨慎选择被试对象，强调调研数据的重要性，敦促被试对象端正填报态度，避免被试对象随意填写数据，尽量保持调研数据的严谨性和客观性。
3、技术方法：对于调研所获得的数据，主要可以通过以下几种方法检验数据的信度。重测信度；利用同一份测试问卷或评价指标体系，通过两次或
者多次测量，检查几次测量数据之间的相关系数。如果几次测量数据之间的相关系数非常高，则说明调研数据的信度比较高，否则，则说明调研数据
的信度不高。复本信度；在基于调研指标体系的调研中，可以利用复本问卷再次测量，检查两次测量结果的相关系数。同理，如果几次测量数据之间
的相关系数非常高，则说明调研数据的信度比较高，否则，则说明调研数据的信度不高。折半信度；如果限于调研条件的限制，无法实施重复测量或
者复本测量，也就无法借助重测信度或者复本信度的技术进行信度检验。在这种条件下，可以把测量中围绕某个问题的若干个测量项划分为两组，检
查由这两组测量项所获得数据的相关系数。如果两组变量之间的相关系数非常高，则说明调研数据的信度比较高，否则，则说明调研数据的信度不高
。克朗巴哈系数；对于反映相同特质的若干个测量组，其测量结果之间应该存在真实的相关性。因此，可以通过检验反映相同特质的若干个测量项之
间的一致性水平，来判断调研数据的信度水平。这个测试指标就是克朗巴哈系数，简称为信度α系数。效度效度是指研究中能够真正、正确地揭示所
研究问题的本质和规律的有效程度，要求测量结果能够全面、客观地表现出测量目标的属性。效度是对测量性质准确性和测量结果正确性的评价。在
具体的调查或评价类项目中，效度是反映调查、评价类项目最终效益和价值的重要指标，对于任何一个调查和评价项目，都以获得有效的、有价值的
研究结论作为最终目标。一个项目的效度是否达到较高水平，主要体现在两个方面：?一是测量指标体系的质量，主要是测量的覆盖度和测量区分
度，简称为结构效度；?二是测量数据的信度，主要指被试对象的选择，被试对象的态度和严谨性。因此，信度是效度的必要条件，效度的实现必
须以可靠的信度为基础。效度是定量研究成败的决定因素。效度分析在针对调研指标体系的效度的研究中，通常借助两个思路对调研指标体系的效度
进行分析和检验。?专家结构效度；专家结构效度是指借助专家保证研究指标体系的科学性和覆盖度。其基本思路是借助行业专家把关，保证指标
体系的科学性和结构合理性。?检查调研指标项的区分度和覆盖度；基于变量的差异性检验技术，验证指标项的区分度，避免多个调研指标项都在
描述同一问题的同一内容。利用Bartlett球形检验和KMO检验，检查指标体系的覆盖度和科学性。效度检验方法自检验法；对已经初步形
成的调研指标体系，可通过小范围测量，检验每个调研指标的可理解性；主要检验调研指标的覆盖面和检验不同指标项所获得调查结构的差异性水平
。在这种检查中，要避免多测量项的过度重叠，更要避免调研指标项语义模糊，避免调研指标项被测试者误解。在这个过程中，建议使用均值差异性
检验的方法判断调研数据的效度。其主要包括配对样本的T检验，多关联样本的非参数检验等技术，还可以利用Bartlett球形检验和KMO
检验，检查调研指标体系的覆盖度和科学性。德尔菲法；邀请行业专家评价指标体系的质量，主要是对指标体系的结构效度进行评价。保证信度和效
度方法在社会调查研究的具体研究活动中，为了保证调研数据的信度和效度，主要有以下几个方面的方法。?采用权威的量表；在教育、经济和社
会学等领域，社会调查和评价是常见的研究方法。对于已经确定的研究问题，一定要首先判断是否存在权威的量表。如果存在权威的量表，就直接使
用权威量表，一定不要自己另起炉灶，新设计调研指标体系。?自设指标体系，完善指标体系；在开展各类调查或者评价性研究时，大多数情况下
可能找不到适用的、权威的量表，这就需要根据自己的研究问题，自行设计调研指标体系，或者在已有的量表基础上，补充某些指标项，以构造完全符合当前研究问题的调研指标体系。?邀请行业专家把关，提升效度和信度；对于自行设计和开发的指标体系，为了保证指标体系的科学性和完备性，通常需要邀请行业专家对该指标体系进行评价，借助行业专家的经验，提升指标体系的信度和效度。 |
|
