在数据分析过程中,我们经常会遇到检验一致性的问题。例如,在内容分析编码过程中,为确保编码的信效度,研究需要两位编码人员对同一内容进行编码。虽然事先已经确定了编码标准,但受个人专业知识和理解等因素的影响,编码结果可能会存在一定差异,因此我们需要检验编码结果的一致性。 Cohen于1960年提出Kappa分析,Kappa系数用于测量数据的一致性水平。实践证明,它是一个描述一致性较为理想的指标。 Kappa一致性检验 Cohen's Kappa一致性检验用于测量数据一致性水平,共分为两类:简单Kappa系数和加权Kappa系数。 1. 简单Kappa系数(Simple Kappa Coefficient):如果研究数据是绝对的定类数据,此时使用简单Kappa系数。 2. 加权Kappa系数(Weighted Kappa Coefficient):如果数据为等级式定类数据(比如轻度,中度,重度;或者不同意,中立,同意),此时可使用加权(线性)Kappa系数。 此外,如果需要检验3项以上的一致性时,应该使用fleiss Kappa,下拉框选中该参数即可。 Kappa系数强度判断 SPSS案例分析 一、问题与数据 根据1-7级分析编码框架对20位成员的发帖和回帖进行内容分析。由两位研究生对发帖和回帖进行编码,两位编码人员之间的可靠性系数使用 Cohen's kappa。 研究数据为绝对的定类数据,因此使用简单Kappa系数。部分编码数据如下: 二、操作步骤 Step1:将数据整理后导入到SPSS中。 Step2:分析——描述性统计——交叉表,将编码员1选入行,编码员2选入列。 Step3:点击【统计】,选择Kappa,点击继续后确定即可。 三、结果分析 检验结果发现,两位编码者之间的一致性系数达到 0.56,达到比较好的水平。 |
|
来自: 敬锋 > 《数据分析与可视化》