阅卷管理与监测系统

阅卷管理与监测系统

    ——大规模考试作文评分研究系列之六
    上文说过，大规模考试中作文评分的误差控制包括三个不可缺少的基本环节，这就是评分标准、评分方法 和阅卷管理。监测系统是阅卷管理系统中一个有特殊意义的组成部分。一次大规模作文考试，如果没有一套完 善的管理制度，没有一个有效的监测系统，则任何评分标准的厘定、评分方法的改进都只是一句空话。
    在测试研究中，考务管理是一个专门的领域；在测试机构中，考务管理是一个有特定职能的分支机构。考 虑到本刊的读者对象，以下只作约略的概述。
    １．大规模作文考试的阅卷管理系统
    大规模作文考试的阅卷管理系统应承担以下三个方面的职责：ａ．阅卷的业务领导，ｂ．阅卷人员的行政 管理，ｃ．阅卷质量的监测。在现阶段，我国比较完善的阅卷管理程度可以示意如下：
    作文阅卷管理示意图
    （附图 {图}）
    现代科技的发展，为作文阅卷的管理提供了重要的辅助手段。借助这种手段，阅卷管理的主要工作有：
    ①试卷的随机编排
    试卷的随机编排就是把不同学校的考生打乱混合排列。有了电脑，这项工作在技术上是不难解决的。重点 学校与非重点学校之间，水平可以相差很大，如果不解决随机编排问题，则监测系统的数据将失去代表性，既 使得这些数据缺乏应有的说服力，也容易出现盲目的调控。有了随机编排，不但阅卷员的评分状况能够得到比 较客观的反映，而且就阅卷员本人来说，由于一本试卷（即同一考场中）兼有各类学校的考生作文，可以大大 减弱评分心理的位置效应（参阅《系列之一》）。此举可以消除评分的系统误差，即各校的平均成绩与其实际 水平大体接近，但还不能遏制评分的随机误差（参阅《系列之一》文末注释）。
    ②阅卷员的选择与培训
    《系列之三》所披露的数字表明，阅卷人员决不是“年龄大、职称高”才好。阅卷队伍的形成应该是一个 选择的过程，由于大规模考试作文评分的特点与困难，阅卷者应该是一支半专业化的队伍，为此，需要逐步建 立阅卷人员档案。“高考作文评分误差控制”课题组的试验省分有的正考虑实行“阅卷员证书”制度（国外已 有），这是条很有价值的措施。
    在选择阅卷人员的基础上还要进行培训。以下两项调查反映了短期培训的效果。
    调查Ａ
    取各类作文１０篇，１５名阅卷员在培训前后两次重评。结果如下：
    培训前 培训后 篇平均标准差 ４．８４ ３．９７ 总体标准差 ３．９７ ４．６３
    可见经过培训，阅卷员评分的一致性有所提高，在拉开分数距离方面情况有所改善。
    调查Ｂ
    取各类作文６０篇，分成对等两组，１６名阅卷员先评第一组（作为培训材料），相隔３日再评第二组， 结果如下：
    第一次 第二次 篇平均标准差 ３．４６７ ３．１０５
    观测结果与调查Ａ相近。
    培训可以有两种方式：ａ．短期集中培训，ｂ．结合阅卷过程进行。后者一般都与样本卷讨论和典型卷讨 论合并进行，将在下面专门介绍。
    ③样本卷的选定及其策略
    即使有了比较完备的评分参照量表（参阅上期），每次大规模考试的样本卷仍是不可少的。这是因为每年 的试题都有其个性，有其需要特殊处理的矛盾，需要根据当年试题情况编制样本卷系列予以解决。
    样本卷的功能，一是使评分标准明确化、具体化，二是针对影响阅卷稳定的心理因素予以尽可能的控制。 因此编制样本卷系列，在着眼点方面，在策略方面，和参照量表的编制可以有所不同。参照量表的编制要遵循 “等距性”原则，即各典型例卷之间，如果按百分制计算，其分距大体上是相等的；样本卷系列的制订，则可 以进一步着眼于“分界线”和“分歧点”。
    例如：“趋中倾向”（参阅《系列之一》）是大规模考试评分中一个比较突出的问题，针对这种情况，１ ９９１年江西省在高考作文评分选定样本卷时采取了以下对策：ａ．一、二类样本卷取下限，ｂ．三类卷取上 、下限。采取上述措施的结果，各类试卷的分布状况有所改善： 类别 一 二 三 四 五 百分比 ２ ２２ ４３ ２７ ５
    高考作文每年分值不同，为了便于比较，重新划分分数段使之能与１９９０年相对应，结果如下：
    (91)29---35 (91)20---28 (91)12---19 (91)1---11
    (90)33---40 (90)23---32 (90)14---22 (90)1---13
    1991 10% 46% 36% 8%
    90(综) 6% 58% 27% 9%
    90(综) 11% 62% 22% 5%
    从表中的数据可以看出，高分数段的情况没有显著变化，而第二档次的人数有大幅度下降，第三档的数字 有明显上升。从整体上看，打保险分，送“及格”分的倾向有所抑制。
    再取同是采用分项评分法的９０年文科考生分与９１年全省考生抽样统计的平均数、标准差、变差系数（ 标准差／平均分）相比，结果如下：
    平均分 标准差 变差系数 ９０年（满分４０分）２４．６５ ６．６５ ２６．９８％ ９１（满分３５分） ２０．１７ ６．４１ ３１．７８％
    统计表明，变差系数有所增加，即分数离散状况好于前一年。
    “分歧点”就是容易引起分歧的问题。每年阅卷，都可以发现“有的作文好评，有的作文难评”现象。对 于某些作文，评分比较容易趋于一致，对于另一些作文，看法往往分歧。归纳、分析、研究这些评分差别较大 的试卷，及时提出来讨论，统一认识，纳入样本系列，是极其重要的。
    ④阅卷流程管理
    根据我国惯例，大规模作文考试通常在暑期或接近暑期进行。在高温、大兵团突击作战的阅卷条件下，应 该特别注意阅卷人员的生活安排和保健措施。就阅卷流程管理而言，要特别注意以下两项工作：
    ａ．均衡投卷，控制速度
    阅卷速度必须均匀，前松后紧之类都必然扩大误差。考虑到阅卷员熟练程度不断提高，可以先略慢后稍快 ，但各组之间必须同步前进。要严禁各组攀比速度，领导小组要掌握进度，但决不应公布进度，一公布必然对 较慢的组产生压力而滋生误差。此外，如果阅卷人员之间存在着利害关系（相互竞争的学校、区县等），试卷 的投放还要注意流向，以免人为因素干扰。
    阅卷的速度与质量有直接关系，速度过快必然评估粗糙。由于目前实行的承包制以及阅卷数量与报酬挂钩 的原因，阅卷速度不断加快。据了解，高考作文有的地区个别阅卷员的速度竟达到日３００份以上，在这种情 况下，阅卷质量是无法得到保证的。承包制不适用于作文阅卷，必须予以解决。
    ｂ．制订行为准则
    “多元评定法”是减小各评阅者评分误差的重要措施。根据赛蒙兹（Symonds）的研究，一组作文若由两人 评定，其相关系数为０．５５，经四人评定后再由另四人评定，则相关系数可达０．８２，若经八人评定后再 评定，相关系数可以增加到０．９０。目前，美国威斯曼的“快速印象法”和英国伦敦教育研究所的实验都要 求一份试卷经四人评定。在我国，一般原则上规定一份试卷应由两人共评，要求已经很低，但实际上仍无法做 到。在这种情况下，应该就“对子”行为作出一些规定，例如至少要求两人先共评若干份，分评后每天必须相 互抽查各等级的作文若干篇，发现问题及时磋商，并有相应的检查措施，等等。这已经是最低限度的要求。
    纪律涣散、工作态度不严肃，是无法保证阅卷质量的。因此，还应当制订《阅卷员守则》，并且有相应的 奖惩制度。对于不合格的阅卷人员必须坚决汰除。课题组各试验省份都有被判“红牌”者，对维护阅卷的严肃 性有良好的作用。
    ⑤监测及复查
    由于这个问题的重要性，将在下文专门介绍。
    ２．建立、健全监测系统
    大规模作文考试如果没有一个有效的监测系统，则任何研究、条例和改进措施将毫无意义。我国长期惯用 的“复查”就是一种监测方法，不过随着科技手段的进步，监测手段日益丰富，怎样借助科技手段来发展监测 系统就成为人们研究的一个课题。
    科技手段应用于评分监测，有“隐形笔”等［注］，不过目前主要是电脑。国外有利用电脑直接进行调控 的，即以试卷中某些客观性较强试题的得分为参照系，如果发现某地区或某阅卷员的主观题给分与其它地区或 其他阅卷员的评分平均值相比明显偏低或偏高，可以通过数学方法加以调整。我国英语高考也曾采用过这种方 法。但语文是一门综合性很强的学科，其测试也属于异质性测试，经过多次测算，各试题（包括作文）的得分 之间没有必然联系。即以写作能力而论，母语和外语不同，母语作文的能力层次要求大大高于外语，高层次能 力（如立意）与低层次能力（如书写）之间，得分也没有必然联系。因此用其它试题作参照系的方法就作文评 分而论是不科学的，也是不可取的。再就各阅卷员之间的评分来说，由于评分对象的差别（例如一市集中阅卷 ，各区之间的水平就会有所不同），很难据此就作出“偏严”、“偏松”的判断，如果骤然利用电脑直接调整 ，很难避免盲目调控。因此，至少就作文评分而言，机器只能及时发现问题，最后的裁断还必须由人工（专家 ）来做出。
    当前，利用电脑监测主要有以下几种方法：
    ①指标监测
    用以监测的指标主要有“平均分”和“标准差”。平均分可以显示出阅卷者给分有没有偏高或偏低的问题 ；标准差显示给分的离散程度，显示出有没有“打保险分”的趋向。将阅卷员每日每份试卷的给分及时输入电 脑，如有问题，就可以及时发现。
    ②参照系监测
    由核心组先随机抽阅一批试卷，将数据输入电脑，以所形成的曲线作为参照系。参照系有允许浮动的一定 幅度。阅卷员每日评分结果在图形显示上如果超越了幅度，电脑就能及时检出以备复查。
    ③“暗点”监测
    即由核心组随机抽阅一批试卷，秘密输入电脑，阅卷员评此卷时，如果给分差距过大，就能及时发现检出 ，显示该阅卷员所评其它试卷也可能存在问题。本方法原理虽然简单，但颇为有效。
    ④内部相关监测
    这是我国试验分项评分时所创造的一种方法。其原理是各分项得分之间往往具有一定的相关性，由此设计 了数学模型，把测算结果称为U值。U值过大或过小，都可以提供信息供复查组审核、裁夺。此方法１９９２年 在河北省试验与指标监测法同时采用，当年结果如下（X拨为平均分Ｓ为标准差）：
    试卷 增加分 减少分 增加分 减少分 平均每
    袋数 数篇数 数篇数 数总和 数总和 袋改动 X拨出线 １４ ７７ ２９ ２０９ １２７ ２４ Ｓ出线 ９ ２６ １５ ７３ ２６ １１ U值小 １３ ５０ ５３ １６６ １１９ ２１．９ U值大 ８ ６１ １８ ２００ ５１ ３１．４
    说明：平均分低于控制线的１１袋，经复查，分数变动２６９，平均每袋２４．５分；高于控制的３袋， 分数变动６７分，平均每袋２２．３分。
    U值方法尚在进一步完善和论证的过程之中，但实践证明它在发现问题方面是有效的。由此也可以看出，在 平均分、标准差均未出线的范围内还存在着大量误差，需要研究对策。这也正是作文评分监测系统科研的任务 。［注］该笔书写的符号，只有借助特定灯具才能显示。这样，共评者彼此不知道对方所给的成绩，而由监测 者（或组长）裁夺。如果差别过大，则需重评。
    —一全文完—一