高职公共基础课程命题反馈及组卷评价数据方法分析
1 引言
为提高高等职业教育课程教学质量，促进不同区域、不同学校课程间交流，我们提出高职公共基础课程统一命题，集中资源，以考促教的方案。高职公共基础课程所涉及的学生人数多、专业面广、影响大，通过统一命题组卷、统一考试，用科学的标准，准确把握考题的难度、信度和区分度，以保证考试的科学性与公平性，同时扩大同一课程不同教师间的交流合作，共同提高课程的教学质量。
如何有效的运用质量管理方法，提高命题过程科学性成为考试管理中心亟待解决的问题。为了使管理者可以对出卷质量状况有一个总体的把握，并进一步提高考试管理的效率，有必要对试卷命题的质量进行评价。在命题实施过程中，命题质量可能受到任务目标、方案设计和组卷加工等因素影响，这些因素有些是定性为主，而另外一些是定量为主，有些对质量产生正面的影响，而另一些则会产生负面的影响。为了将一些不相容的因素进行综合考虑，从而得到更加客观的评价结果。把评价的对象视为物元或基元，通过物元或基元分析来确定不同的评价等级或标准，再运用关联函数来划分各个待评价对象隶属于不同评价等级或标准的程度，从而实现对待评价对象的分类排序，命题机构的管理者根据评价对象分类排序结果可以对相关命题的质量状况有一个总体的把握并做出辅助决策。
2数据分析
为了分析命题组卷过程中以及考试实施后反馈的命题质量数据，我们将ID3算法应用到质量数据分析中，并通过知识发现的手段为命题管理机构解决实际问题。应用ID3算法的目的是使用决策树模型分析命题缺陷数据并追溯缺陷的根源，即找到哪一道命题、哪个命题专家、哪一次组卷导致了特定问题的发生，以便管理人员采取相应的措施。由于不是所有的数据都对决策有用，因此需要对现有的数据进行提取。可以获得如下规则：
这些决策规则可以给管理人员提供命题缺陷溯源的信息，比如管理人员可以从规则4看出，试卷编号为“QF-A01123”的命题发生“试题知识点重复”出现在编号为“20119”的组卷工序。通过工序的编号，系统就可以找到这个工序使用的组卷规则是“ZC009”，而操作人是张汉，说明有可能“ZC009”组卷规则有故障，或者是组卷教师的操作不规范，导致缺陷的产生。那么就需要检查组卷系统或加强管理员的培训。
关联规则是形如X=>Y的蕴含式，其中
。首先是命题缺陷跟踪关联分析，通过关联分析方法对命题组卷过程中的命题缺陷进行跟踪分析，并生成相应的关联规则。然后是命题缺陷并发关联分析，通过关联分析方法对命题过程中的并发缺陷进行关联分析，并生成相应的关联规则。
3建立命题质量评价基元模型
建立命题质量评价基元模型是科学、准确地评价考试命题质量的前提和基础。对于某次考试任务命题质量来说，主要受到考试目标设计、命题方案设计和组卷加工影响，为了客观描述考试管理中心命题过程，使过程中的矛盾问题更加形式化，将基元（包括物元 、事元 、关系元 及复合元）引入到评价模型中。
（1）命题质量物元
将命题名N、特征名c和N关于c的取值v构成的有序三元组R=（N，c，v）作为描述命题质量N的基本物元，称为一维命题质量物元。如果命题质量存在n个特征c1，c2，……cn则可以构建命题质量关于特征的n维物元：
（2）过程事元
考试管理中心实际组卷过程中发生的一些约束事件可以用过程事元表示，记作I=（动词，动词的特征名，量值）=（d， b， u），称为一维事元，将组卷过程中的基本特征定义为：支配对象、施动对象、接受对象、时间、地点、程度、方式、工具。
（3）特征关系元
命题质量的一些评价特征之间存在着某种联系，改变其中的一个变量往往会影响到其他变量，在建立模型时也必须考虑到不同特征之间的传导性，因此，对应的命题质量物元、过程事元也与其它的物元、事元应能描述这样的关系及其相互作用。关系元就是描述这类现象的形式化工具。
以命题质量评价特征的关系名s、n个特征α1，α2，……，αn和相应的量值w1，w2，……，wn构成的n维阵列：
下面以某次5个待评价的组卷命题物元R1、R2、R3、R4、R5为例验证综合评价的可行性。根据前文给出的命题质量综合评价基元模型，可以得到它们的衡量条件，并且其物元表示及各衡量条件的取值如表4所示。表格中的数据是历史统计数据或由相关部门管理人员提供并取平均值。
4物元各因子的优度和综合评价
确定了衡量条件、权重分配以及得到了衡量条件的值后，接下来进行首次评价。由于待评价的5个命题物元都满足评价条件，所以最终进行计算的可行解域为{R1，R2，R3，R4，R5}。将数值代入关联函数计算合格度，以R1为例，得到其目标因子的合格度向量是{0.79，0.77，0.88，0.89，0.75，0.78}，R1其余的因子合格度以及其他物元的合格度计算方法一样，这里不再叙述。然后对合格度进行规范化并计算优度，可以得到物元各因子的优度和综合评价结果如表5所示。
由上表可以得到C（R1）=0.81，C（R2）=0.78，C（R3）=0.76，C（R4）=0.73，C（R5）=0.85，将它们进行排序得：C （R5）>C （R1）>C （R2）>C （R3）>C （R4）。可以看出，R5是优良命题，而其他R1，R2，R3，R4属于一般命题。
合格度计算以R1为例，得到其考试目标设计因子的合格度向量是{0.79，0.77，0.88，0.89，0.75，0.78}，从评价结果进一步分析，我们可以得到如下结论：
（1）命题R1方案评分较低，对于该命题无论从难度设计还是素材设计都需要进一步改进，管理人员可以重新设计该命题或者将该命题作为一个普适命题，适当调整命题适应度。
（2）命题R2的知识点分布范围和考试类型等级都较高，分别达到41%和25%，命题者平均失误率也高于其他几个命题。并且命题选择源比率也偏低，命题管理部门应该在加强命题方案设计的同时，考虑提高命题外协单位和命题专家的资质。
（3）命题R3的组卷加工状态较差，可能是命题组卷系统设计不合理或者提供组卷的试题源题量不充分，组卷结果不理想，管理机构可以考虑开发新的组卷系统或者对原组卷系统进行调试改进。
（4）命题R4的命题专家平均工作时间较短，熟练程度较低，并且由于命题方案相对复杂，对命题专家要求较高，因此非熟练命题专家的操作失误率也会较高，从而导致命题的质量不够理想。管理人员可以考虑制定人员培训计划，加强培训，提高专家的命题水平和熟练程度。
5 结束语
为减少仅仅靠命题质量人工分析的管理模式的弊端，本文根据命题质量数据的特点，利用数据仓库技术和OLAP技术，建立命题质量数据仓库和相应的多维分析模型，对命题业务数据从多角度查看和分析，并在分析的基础上建立了质量综合评价模型；同时从解决实际问题的角度出发，对影响命题质量的因素进行分析，找出各种质量特性值与命题质量的联系。实验结果证明在一定程度上可提高质量评价的精确性和完整性。
