教师课程教学质量评价排序问题的实证研究
中图分类号：G718.5 文献标识码：A 文章编号：1672-3791（2014）01（a）-0155-04
教师课程教学质量评价（以后简称质量评价或评价）反映教师教学的质量和水平，监督管理是其功能之一，监督着教师的教学劳动，也在一定程度上为绩效考核、人事决策提供依据。实现管理功能要求对评价对象能够依据综合评价结果排序。随着劳动人事制度改革的深入进行，教学质量评价结果的排序问题受到关注。根据实例，两元评价主体（全体学生或同行）已经依据某种综合评价方法，对所有评价对象（任课教师）的教学质量做出评价，评价结果以测评分，即价值函数值的方式体现。根据评分可以区分优劣。全体对象按测评分降序排列称为该测评下的“排序”，任一对象的测评结果名次，即该对象的在排序中的位置。依据排序，将全体教师按课程教学质量分为A、B、C、D共4组，名次在前25%的属于A（优秀），25%～50%属于B，50%～75%属于C，75%以后属于D组。在以后的讨论中，全院承担课程教学任务教师（测评对象）全体的集合为样本全集，为学期，=1，2，3，4，5，6分别对应2012-13-2，2012-13-1，2011-12-2，2011-12-1，2010-11-2，2010-11-1学期。
教师姓名，即样本集中的元素用序号替代。
1 学生测评排序分析
对测评对象依据系部或教师学科背景的分类，实际是对作为评价主体的学生的细致分类。在一个相当长的时期中，学生是实例中唯一的评价主体，在主体多元的情况下，学生也是其中最重要的评价主体。因此，学生测评排序选优在主体细致分类下的均衡性和不同学期下的时间稳定性，在一定程度上反映了教学质量评价的效度和信度。
1.1 排序的相对位置函数
为某系承担教学任务教师全体的集合；是的一个子集，的容量记为。
由于中的样本数不是常数，为了能够对不同学期的排序进行比较，定义“相对位置函数”：
（1）
式中，为样本i在样本全集中的测评结果排序名次；为的容量。容易理解有如下性质：（1）对于任意，有；（2）设，则必有；（3）对于任意i1，i2，有
（2）
当时，有
（3）
由（3）可以得到Tj中各元素的位置函数值（表1）。表中序号与教师姓名对应，无函数值表示该教师在该学期没有承担教学任务。
1.2 学生测评排序的均衡性
由位置函数的性质可知，函数值即样本i在中的排序位置。则分组A、B、C、D对应的位置函数值分别为：0.000～ 0.250、0.250～0.500、0.500～0.750、0.750～ 1.00。因此，从表1可以看出中测评结果为A（）的样本数NAj，并计算出在中的比例（表2）。
从表2中可以看出，学期1和学期3属于A组的比例接近25%外，其余4个学期均大于25%，且相差较大。这说明依据学生测评结果，属于A组的比例在全院各系的分布是不均匀的。
依据教师的学科背景，系教师共有3类，记为集合TA、TB、TC：
TA={1，7，8，9，10，13，14，15，17，18，19，22，25，28，32，33，34，35，36，38，44，48，49，34，55，56，57，58}；
TB={2，3，6，12，16，20，21，24，26，27，30，31，37，40，42，43，45，47，50，51，52，53}；
TC={4，5，11，23，29，39，41，47，59}。
根据集合TA、TB、TC及表1、表2可得属于A组（位置函数值<0.25）的比例按教师学科背景的分布（表3）。
从表3可以看出在细致分类的条件下，属于A组的比例差异进一步扩大。
1.3 学生测评的稳定性
表2、表3中的数据各个学期有明显的差异。为分析学生测评结果的时间稳定性，从表3中去除仅有2个数据的样本后，对每一样本计算位置函数值的最大差距，得到表4。
依据表4统计后得到，在54个样本中偏差值小于组距0.25的有9个样本，比例为16.7%；偏差值放宽到小于0.50时，样本数为37，比例为68.7%。这个结果表明，学生测评下位置函数的时间序列值，只有不到20%可以认为是比较稳定的（最大差距不超过组距）；超过30%很不稳定（最大差距超过2倍组距）。
2 同行评价对排序的影响
实例中的“同行评价”是以系（部）为区分的评价主体，对属于本系部的评价对象进行测评，依据某种综合评价方法得到评分，然后按加权平均（学生评价权重w同行评价权重1-w）计算综合评分。
2.1 次序关系
现设i、j为某学期某样本集中任意两个评价对象，学生评分、同行评分分别记为、和、，对象i、j的综合评分为：，令 ，的符号可以定义对象i、j之间的一个“次序关系”（简称关系）：（1）当时，称i优于j；（2）当时，称i劣于j；（3）当时，称i等同于j。
称为综合评分下的次序关系或最终次序关系，全体关系的集合记为Z。同样可以定义学生、同行测评下的次序关系和关系集X、Y。显然，关系集与排序之间是一一对应的，因此我们可以用同一字母表示对应的关系集和排序。显然，N个对象之间关系总共有个。 表5是某系2012-13-2学期两个评价对象：i=5、j=24的评价情况。
表6给出了某系2012-13-2学期部分评价对象的次序关系。其中对象17的综合评分排名比该对象的学生、同行测评结果两者都要低，且学生评价都不劣于表中其它对象，但最终次序关系却劣于表中任何其它对象。
观察表5，对于对象5，综合评分名次、学生测评名次均为1，这意味对象5和其它对象i（i=1，2，3，4，6，…，N）之间的综合评分次序关系，完全取决于学生测评下的关系，同行测评结果对此没有影响。
由表6，观察对象17与对象i（i=13，15，22，35，41，46，52）的关系，在学生测评下，对象17“优于”或“等同于”对象i；但在综合评分排序中，这7个次序关系全部成为“劣于”，这当然是同行评价产生了“作用”，我们称为同行测评“有效”影响了这些对象间的次序关系。
表5、表6的数据全部来自T1，即以某系2012-13-2学期测评数据为依据，同行是以系部为区分的非单一主体，2012-13-2学期8个教学系部同行测评分的几个统计数据见表7。
根据表7，不同评价主体之间评分差距很大，如D7的最低分相当于D1的最高分，显然，分属不同系部的对象之间不能直接进行比较。
D7的中位数与最高分仅有0.02的差距，最低分与最高分也只是0.2分的差距，而对D7中对象，学生测评分最大差距是 1.44。可以判断D7同行测评结果对最终排序没有什么影响。
D1的最低分与最高分差距较大，超过学生测评分的差距（最高分9.50，最低分 7.67），但这并不意味着其同行测评有效影响一定很大，对某一次序关系同行测评与学生测评判断相反时，同行测评才有可能“有效”。
2.2 排序变换与同行评价对排序的影响
为能够定量计算加入同行测评后排序的变化程度，引入“逆序数”的概念：
设对N个数码1，2，3，…，N的一个排序： （4）
如果有较大数排在较小数之前，而这种大小颠倒安置的情形一共出现了k次，则说排序（4）有k个逆序，或称（4）的逆序数为k。
从上述定义可知若（4）是升序排序，其逆序数为最小值0；若（4）是降序排序，则逆序数达到最大值： （5）
现设排序 （6）
的逆序数为k，交换、的位置后得到 （7）
容易理解，若，则排序（9）的逆序数为k+1；反之，排序（9）的逆序数为k-1。
排序中任意相邻两个对象交换位置（简称为换置），相当于改变它们的次序关系，由排序（6）中优于，变换成排序（7）的劣于，由于排序中其它对象的位置未变，排序（6）逆序数是排序（7）逆序数加1或减1。
对于一般情况，设一样本集中N个对象已按学生测评分排序，不失一般性，假定学生测评分都是各不相同的，因此，不妨以名次作为对象的标识符（即对象的学生测评名次为）。显然这个排序是：
（8）
其逆序数为0。X称之为“基准排序”，若以表示对象，下标表示该对象在排序中的位置，则对于任意有。
对每一对象依据学生测评分、同行测评分以及综合测评方法计算出综合评分，依据综合评分降序排序得到一个综合评价下的名次排序：
（9）
可以通过对排序X施以一系列换置变换得到排序Z：（1）令i=1；X1=X；（2）在Xi中找到，若转（4）；（3）对施以次换置，使到达位置i；（4）令，为变换后的排列；（5）若，结束变换，，否则转（2）。
上述过程中的每一个换置都是对象位置前移1位，从而使得逆序数加1，同时也意味着同行评价对该关系有效，由此即证明了排序Z的逆序数等于同行测评的有效次数M，因此可用比值度量加入同行测评后对排序的改变程度。
用上述方法对D7同行测评结果对排序的改变程度进行分析，可以得到排序：
Z 7={1，2，5，6，3，4，7，8，9，11，11，13，14，15，16，17，18，19，20}
该排序的逆序数M=4，改变度 。表明由于D7的同行评价结果取值过于集中，因此对排序的改变很小。
同样，可以计算出D1同行测评对排序的改变度为0.18，远大于D7。
说明：（1）实际计算评价主体的贡献时，不需要对排序逐步变换。只要依次完成3个步骤：按学生测评排序、用名次作为对象的标识符、按综合结果重新排序即可得到综合排序Z。（2）设学生测评有k（k2）个对象的测评分相同，名次并列为i，但其中部分对象综合测评分不再相等，即同行测评将部分等同关系有效地改成非等同关系，因此按综合测评分降序排列后，应将这k个对象的标识符由i依次改为i+k-1，…，i，（综合测评分相同的对象仍用相同的符号以保持逆序数不变）。（3）上述方法可以推广到评价主体为N（N3）元的情况：任意i（i1）个主体对排序的改变度，等于以其它N-i元主体的综合评价结果为基准排序的条件下，最终排序的逆序数与的比值。
3 结语
学生测评结果排序的特点是：优秀类比例按系（部）和按教师学科背景的分布都是不均匀的；对于绝大多数对象，位置函数值时间序列分布相当分散。学生实际上是以班级为区分的非单一评价主体。高职院校学生来源多样，不同专业、不同年级的班级与班级之间也存在价值上的偏好差异，通过聚类分析的方法，对学生班级适当分类，并建立相适应的指标体系，可能减少主体的差异性对测评结果的影响，但分类的结果可能大大降低结果的可比性。同行是按系部区分的非单一主体，大多数系部评分值分布过于集中，以致对排序影响有限。不同系部之间的评价平均值相差很大，完全无法比较。比较性差，排序的意义就不大。从排序选优考虑，应尽可能对全体教师进行同样的检查和评定，为此，评价指标的设置及描述，应选择可以观察到的教学事实作为评价内容，不应对教师的具体教学行为进行必然性的描述。课程教学质量评价，无论如何设计，都有很强的主观性和模糊性，评价结果受到评价主体的价值观念、认知水平、掌握的信息量等因素的影响。正确认识评价排序的作用及其局限性，才能从排序中得出正确合理的结论。
