分享

[转]试卷难度分析

 王学东的图书馆 2016-04-27

本文选自《第十二章 学习结果的测量与评价》

1、难度的概念:

难度是指项目的难易程度。在心理与教育测量中,常常用受测者答对或通过每个项目的人数的百分比(即通过率或P值)作为难度的指标。

P=R/N

P代表项目的难度,又称为难度指标;N为全体受测者人数;R为答对或通过某一项目的人数。P值越大,答对的人数越多,难度越低;P值越小,答对的人数越少,难度越高。由此可见,难度实质上表示的是一种易度,与试题的实际困难程度刚好相反。所以,常常人们也会用未通过率Q值来反映试题的难度,即Q=1-P,Q值的大小与试题的难易程度完全相符。

2、难度的相对性:

项目的难度是相对的而不是绝对的。难度的大小除了和内容或技能本身的难易有关外,还同项目的编制技术和受测者的经验有关。一方面,内容的覆盖面广、挖掘得深刻,技能要求高,项目的难度大;但是内容的广泛、深刻与否、技能要求的高低均是相对的,同样的一道应用题,在单元测试中,可能属于难度较大的,而作为高考的一道题目,可能难度就相对较小了。另一方面,一个本来很容易的问题可能因为表述不清楚而变难,一个很难的内容也会因为答案过于明显而变容易。比如,英语考试中,一句原来很简单的话加了两个生词后就难了;而一个关于剩余价值的比较难的选择题可能也会因为其他三个选项描述完全不合逻辑而很容易选择。同样,一种测验对一组受测者是高难度的,可能对另一组受测者是低难度的。一个小学五年级的奥数题目对一个小学生,难度是极大的;而对一个高中生,可能也只是小菜一碟。这些均是难度相对性的具体体现。因此,我们不能笼统的说,这一测验的难度如何,而应讲这种测量在某种状态下,对某类受测者的难度。

3、难度的计算:

我们学习"难度",并不只是要知道难度的概念与特性,更要运用难度的计算公式来实际运用。

(1) 客观题难度的计算:

P=R/N

式中,P表示难度指标,N表示参加考试的总人数,R表示答对某道客观题的人数。这一公式常用于客观性、非对即错、用零一记分法记分的考试中,所谓"零一记分法",就是答对记1、答错记0的方法。

例如,100人参加测试,某题有60人答对,则此题的难度为:

P=R/N=60/100=0.60

(2) 主观题难度的计算:

P=X/K

式中,P还是表示难度指标,X表示所有考生在这道题目的平均得分,K表示这道题的满分。这一公式常用于问答式,论述式等主观性考试中。

例如,某道论述题满分为12分,所有考生在这道题目上的平均得分为3.6分,则此题的难度为:

P=X/K=3.6/12=0.3

(3) 用极端分组法计算客观题的难度:

在很多情况下,用基本公式计算难度需要对所有考生的得分情况进行统计,工作量很大,而且常常出错,这时可以用"极端分组法"求试题的难度。例如,在即将到来的高考阅卷工作后,必然会有很多的专家、学者会对一些题目进行难度的统计、计算。在此时,"极端分组法"会极大的方便他们。

极端分组法的具体措施:

如有必要,可先进行抽样;将抽样后的样本或全部试卷按得分由高到低的顺序,依次排列;从得分最高的一份试卷开始依次向下选出全部试卷(或样本)的27%,作为高分组;从得分最低的一份试卷开始依次向上选出全部试卷(或样本)的27%,作为低分组;按下列公式计算难度:

P=(PH+PL)/2

式中,P为难度,PH为高分组难度,PL为低分组难度。

例如,一次测验中,选取标准样本数为60000人,把他们的测试成绩从高到低排列,在高分段27%的样本中有14850人答对第10道题,在低分段27%的样本中有840人答对第10题,这题难度有多大:

PH=14850/(60000*0.27)=0.92

PL=840/(60000*0.27)=0.05

P=(0.92+0.05)/2=0.485

Q=1-0.485=0.515

(4) 用极端分组法计算主观题的难度:

一些主观题一般不能简单的判定对、错或通过、不通过,难度计算比较复杂。一般通过以下步骤:

按测验得分排列试卷;确定高分组与低分组,各占总人数的25%(方法与前面同);分别为高分组与低分组编制每道试题的分析表;按下列公式计算难度:

P=(XH+XL-2nL)/(2n*(H-L))

上式中,P表示难度指数,XH高分组的总得分,XL表示低分组的总得分,n表示总人数的25%,H为这道题的最高得分,L为这道题的最低得分。

例如,某道论文题,高分组得分总和为40分,低分组的得分总和为15分,有40人参加考试,这道题最高得分为8分,最低得分为2分,则此题的难度为:

P=(XH+XL-2nL)/(2n*(H-L))=(40+15-2*10*2)/(2*10*(8-2))=0.125

则此题较难。

4、测验的适宜难度:

我们必须明白,进行难度的计算只是一个手段,我们并不是为了计算难

度而计算的,而是为了利用它来看是否满足测验的要求,达到测验所需的目的。所以,我们必须明确测验适宜的难度范围,看难度是否适宜测验。

从以上的计算公式中,我们得出P值的取值范围:0<=P<=1,但实质项目的难度水平选择多高,应取决于测验的目的、项目的形式以及测验的性质。

例如,在学校的教育中,有些测验的目的是为了考察学生对某些知识、技能是否掌握,此时可不考虑难度,只要认为重要的内容就可以编入测验,即使那些全部通过或全部不通过的题目也不淘汰。再比如,当高考的录取率为60%时,此时的难度指标P就可以选择在0.6左右,也就能挑选出60%左右的学生。又比如,我们要挑选出20%的学生进行辅导补习,此时可将难度指标设为80%,这样80%的人能通过考试,而20%没能通过的就是需要参加补习的。

而如果测验是用于区分学生,那么应该将难度系数选在0.5左右,因为此时试题得分的离散指数达到最大值,并能有效的造成测验分数的正态性,能最佳的反映学生的学习水平。但是,不能将P=0.5机械的加以应用。0.5为试题难度的最佳值并不意味着一个测试中所有试题的难度都必须为0.5。如果难度都为0.5,那么各题间的相关性必然提高,也会阻碍学生的水平的正确的反映。因此各试题难度值在0.2-0.8之间,同时各题平均难度值在0.5左右是比较适宜的。

5、难度对测验的影响:

难度是有效测验的必要条件,它对测验有着举足轻重的作用:

(1)、测验影响测验分数的分布形态:

由公式可知,P的取值范围为:0<=P<=1,当P=0时,通过率为0,即没有学生答对该题,测验的分数分布呈正偏态;当P=1时,通过率为1,即所有学生都答对了该题,测验的分数呈负偏态。而如果P值比较适中,那么分布会比较均匀,呈正态分布。

(2)、测验难度影响测验分数的离散程度:

测验难度直接影响测验分数的离散程度,因为难度过大或过小,测验分数的分布都呈偏态分布,即测验分数都分在高分段或低分段,这样离散程度就小了。只有难度适中的测验,其分数才会分布在整个区域,范围最大,也最能反映学生的真实水平。所以,在无特定目的和要求的情况下,应是P值适中,从而更好的反映学生的水平和学生之间的差异。

(3)、测验难度影响测验的鉴别能力

这也就是描述难度对区分度的影响。适中的难度,能使测验分数的分布最广,从而区分度也最大。

6、控制题目难度的方法:

明确了难度对测验的重大意义后,我们也就明确了控制难度的重要性,控制难度是根本所在,以上我们对难度的精确的计算,就是为了更好的对它进行控制、改进。控制好难度,能有助于达到测验的目的;相反,控制不好,也会让测验毫无价值。如果是选拔性的测验,那就必须要提高难度、降低通过率以达到选拔人才的目的;而如果是普及性的测验,就要降低难度,达到让大多数人通过的目的。

一般来说,影响题目难度的主要因素有:

(1)、考察知识点的多少;考察知识点越多,或者知识点考察得越细、越深,题目越难。

(2)、考察能力的复杂程度或层次的高低;要求运用学过的某一理论来联系实际,分析某一问题,要远比默写出这一理论难度大。

(3)、考试对题目的熟悉程度;在考试后经常会听到学生抱怨:"那么难的问题我都做出来了,怎么这么简单的问题我还会错呢?"其实,他们之所以会错,是因为他们没有注意、太掉以轻心了。一个本来很容易的内容,会因为考生没有注意而变得很难;而本来很难的内容也会因为认真的学习、反复的练习而变的很容易。

(4)、命题的技巧性;我们知道同一个问题用选择题远比用论述题、分析题来的简单,这就是命题技巧性的差别引起的难度的差别。

我们可以通过对上述诸要素的控制来达到控制题目难度的目的。此外,还可以通过其他方法来控制。在平常教学考试中,由于教师对学生的情况比较了解,因而主要凭经验来控制难度,使之与老师的教学难度相适应。而在大规模测试中,就要通过预测来控制难度。首先由命题人员根据上述4要素,结合自己的经验估计一个难度范围,然后通过测试看这个估计的准确程度,如果测试后的结果与估计的相符,那么这些题目就可以投入使用了。

总之,难度是测验中一个举足轻重的因素,对测验有很大的影响。我们可以通过公式来计算、预测、评估试题的难度,从而控制它,达到满足不同测试要求的目的。

<四>区分度:

1、 区分度的概念:

区分度,又叫鉴别度,是指测验项目对所测量属性或品质的区分程度或

鉴别能力,在测验过程中指某试题区别学生学习知识和能力水平差异的能力,即该试题的得分与学生实际水平的相关程度。

因此,它不仅反映该学生的得分与实际水平的一致性趋势和这种趋势量的大小,而且反映试题将实际水平高的学生与实际水平低的学生区分开来的能力。

区分度一般用D来表示。它分为正区分(D>0)、零区分(D=0)、和负区分(D<0),正区分又称积极区分,负区分又称消极区分。所谓正区分是指实际水平高的考生得了高分,实际水平低的考生得了低分;负区分正好相反;零区分是指实际水平高低与得分之间没有太大的关系,呈现出零相关。在实际生活中,我们真正需要的就是正相关,也就是使实际水平高的得高分,实际水平低的得低分,那是一个好测验所必须的。 2、 分度与测验信度、难度的关系:

测验的必要条件之一的区分度与测验信度和难度有着密切的关系。

(1)、区分度与信度的关系:

区分度与测验信度的关系

区分度 信度
0.1225 0.00
0.16 0.42
0.20 0.63
0.30 0.84
0.40 0.915
0.50 0.949
上表是1962年R.L.艾伯发表的,是在假定全部试题的难度均为0.50时所预测的信度系数。里面的区分度指的是平均值。由此可见要达到理想的测验信度,提高区分度是一个好方法。

(2)、区分度与难度的关系:

区分度的最大值与难度的关系

难度(P) 1.00 0.90 0.70 0.50 0.30 0.10 0.00
区分度的最大值 0.00 0.20 0.60 1.00 0.60 0.20 0.00
由上表可知,适中的难度可使区分度达到最大值。

3、 区分度的计算:

区分度的所有指标和估计方法,都是以对项目的反应与某种参照标准之

间的关系为基础的。因此,对试题的区分度的分析包括"项目效度"和"内部一致性"。前者分析受测者在题目上的反应与效标的关系,后者分析各个题目与考试总分的一致性。

(1)、项目效度的分析--有极端分组法和相关系数法等。

A、极端分组法进行客观题区分度的计算:

用这种方法计算区分度与计算难度的方法基本相同,只是最后按下列公式计算:

D= PH-PL

以上公式中D表示区分度,PH表示高分组的难度,PL表示低分组的难度。例如,某题高分组有70%人答对,低分组有30%答对,则此题的区分度为:

D=0.70-0.30=0.40

B、分组法进行主观题区分度的计算:

主观题区分度的计算方法与客观题不同。首先,在分组方面,高分组和低分组各取25%的总人数,然后按以下公式计算:

D=(XH-XL)/(n*(H-L))

上式中,D表示区分度,XH高分组的总得分,XL表示低分组的总得分,n表示总人数的25%,H为这道题的最高得分,L为这道题的最低得分。

C、相关系数法,这种方法是通过分析学生答题情况和代表学生实际水平的效标测试情况而得到试题区分度。

根据数据条件不同,可再细分为3种情况:

a、当两列变量(效标变量和答题情况变量)均为连续变量时,采用积差相关公式计算区分度:

r=∑((Xi-X)(Yi-Y)/(n*Sx*Sy)

Xi为一列变量,Yi为另一列变量,Sx Sy分别为两列变量的标准差。X、Y分别为两列变量的平均值。

b、当一列变量为连续变量,另一列变量为二分变量时,采用点二列相关公式:

r=(XP-XQ)*((P*Q)^(1/2))/SX

式中,XP为与P对应数值的平均数,XQ为与Q对应数值的平均数,P、Q为P、Q中成员的数目与总数比,SX为连续变量标准差。

c、两列变量均为等级变量:

r=1-6*∑(Di^2)/(N*(N^2-1))

式中,Di为等级差,N为总数

(2)内部一致性--自身一致性:

自身一致性的分析是以考试本身的总分作为依据来求得自身一致性的量数,而不依靠实际难以找到的适当的外在效标。分析的方法与项目效度分析法中介绍的完全相同,只不过将外在效标换成了自身总分数。

4、 区分度的评价标准:计算完区分度后,得到的绝对的数值本身意义不大,必须将它与评价标准做比较,从而决定对它的一系列操作。

采用极端分组法计算的区分度的评价标准

区分度 评价
0.40以上 非常良好
0.30-0.39 良好,如能改进更好
0.20-0.29 尚可,用时需作改进
0.19以下 劣,必须淘汰或改进以提高区分度后方可使用
必须将自己的区分度与标准进行比较,若很好,可立即投入使用,否则对它进行改进或淘汰。

5、 从上面的表格中可以看出来,区分度是越高越好,那么我们如何来提高区分度呢?

(1)、使题目难度适中,使整个考试难度适中。

难度与区分度的关系在上表中已有说明,题目的难度适中可使区分度达到最大值。因此,使难度适中是提高区分度的重要方法。

(2)着重考察复杂的学习结果

尽量考察复杂的学习结果,使高能学生能得高分或最高分,低能学生得低分甚至最低分,使分数尽量分布在整个量尺上。这样可以提高区分度。

总之,区分度也是有效测试的一个重要标志,与难度与效度有密切的关系。要达到理想的测验信度,提高区分度是一个很好的方法,而要使区分度能达到最大值,也必须要有适中的难度,所以三者是环环相扣、相辅相成的。我们可以根据不同的测验目的选用适宜的方法正确的判断测验的区分度从而提高它。 

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多