1、自 考 命 题 中 计 算 机 题 库 自 动 组 卷 策 略 研 究尉明宇 耿霞题库是按照一定原则组织起来，技术质量业已查明的，能为一定考试目的服务的大量优良试题的集合，它包括题库技术和题库管理两个方面。本文重点论述的是题库组卷方法的研究。题库的建立使编制测验技术发生了根本性的变革，在发达国家建立的不同级别和不同类型题库实践中，已显示了题库的优越性。随着国内教育测量理论的提高和统计软件的发展，我国在题库建设方面也进行了多次尝试，如近几年开发的 9702 系统、海天题库、通用题库系统等，还有汉语水平考试（HSK） 、部分省开发的一些题库软件和全国英语等级考试（PETS）题库。实践证明，计算机题
2、库至少有三个方面的优越性：第一，管理学上的优越性，即高效、灵活、保密；第二，测量学上的优越性，即高质量、可预控、等值可比、稳定一致；第三，计算机实现技术的先进性，即试题的动态管理和试卷的自动生成和分发。计算机题库支持的计算机化考试不仅可以提高考试的信度，而且可以通过多媒体技术的应用而提高考试的效度。许多学者认为，实现计算机化自适应测验将是考试发展的必然方向。题库组卷的前提是确定题库中试题的参数指标，由于自考题库无法借预试建立参数指标，我们尝试以主观判断来建立难度预估的可能性，并为抽题组卷制定了细致的质性类别，如多层的考核难度、多层的考核点、试题型态、认知层次等。当这些指标建立完整时，题库的字段
3、格式同步完成，筛选试题、题量统计的分析也趋于简便。最重要的，择其质性指标来建立组卷向度，这些向度即可用于人工组卷或自动组卷来完成正式试卷。自学考试命题的突出特点是科目繁多，不同科目的题库建设规模不同，因此组卷所采取的策略也应有所差别。根据题库建设周期所处的不同阶段，组卷策略可确定为手动组卷、双向细目表组卷、智能自动组卷。三种组卷策略对题库规模要求不同，在某课程题库建设初期，试题数目相对较少，可以采取手动组卷，随着试题逐渐增多，各个考核点、题型、难度等的交叉点上都存在试题后可采用双向细目表策略，当题库愈加完善可采取自动组卷策略。1.1 基于双向细目表的组卷策略采取双向细目表策略组卷时，系统可保存
4、教师制定的每一份细目表，并允许教师之后对其进行局部修改，所以，只要考试大纲和试卷的结构不发生根本性变化，教师即可用该份细目表多次组卷，每次抽题试题内容不同，但试题的参数和整个试卷的试题分配比例是相同的，这种组卷策略尤其适合于诸如自考之类的定期的标准参照性的考试。1.1.1 利用双向细目表命题的优势建立“命题双向细目表” ，主要是参照美国著名教育心理学家布鲁姆关于认知领域中的教育目标分类体系，结合学科的具体特点，由任课教师和专家共同研究确定。 “命题双向细目表”由三个要素组成：（1）考查目标，亦称考查能力层次。它具体回答了考试是“考什么”的问题，也体现了该门课程对学生要求应具备的具体能力。（2）
5、考查内容，亦称考查的知识块。它反映了考试的基本素材，即反映了课程的基本纲要或内容体系。（3）考查目标与考查内容的比例，亦称权重。它反映了考查目标和考查内容各项目之间的相对重要性。应用“双向细目表”命题的优势在于：（1）可以克服考试命题的主观随意性以往大多数考试命题时，主要凭借教师的经验，随意性较大，命题缺乏明确的计划和标准，试题取样不恰当，覆盖面较窄，教师把注意力集中在每道题目的内容细节上，却不利于从全局上把握试卷的总体参数特征，这样必然会影响试卷的质量。而“双向细目表”体现了考核目标、考查内容和考核难度等多个维度上的比例分配，从全局把握试卷的内容，教师在出卷之前已做到心中有数，可有效地避免教
6、师的主观随意性。（2）可作为评价教学质量的依据“双向细目表”在很大程度上体现了教学阶段的“质” （即考查目标与内容）和“量” （即考查的比例）具体要求。由计算机根据“双向细目表”组出的试卷将完全符合命题细目表中的各项要求，在考完之后可以利用其作为教学质量评价的依据。（3）一次制定重复使用由于“双向细目表”只是详细制定了课程的考核内容以及各题型的分配比例，并没有涉及到具体试题，故只要命制一次，如果今后没有其他变化便一劳永逸，依据此份细目表重复组卷。在本系统中提供了保存细目表的功能模块，使教师可以利用以前制定的细目表命制一份新的试卷。1.1.2 利用双向细目表组卷流程分析依据自学考试的命题原则制定
7、了适用于自学考试的“命题双向细目表” ，如表 1-1 所示：表 1-1 自学考试命题双向细目表单项选择题（_分/题）填空题（_分/题）题型预计难度题量认知层次 A B C D A B C D小计合计备注考核点 1考核点 2小 计合 计说明：1、预计难度：A易；B中等偏易； C中等偏难；D难2、认知层次：识记；领会；简单应用；综合应用为明确测量目标，把握考核点的比例和形式，提高命题的科学性，系统采用基于考核点分值分配的细目表的方式规划试卷蓝图，双向细目表采用向导方式，引导教师完成双向细目表的命制，用户在每一步骤中均可以选择“上一步” 、考核内容“下一步”进行步骤之间的切换，并且在向下一步切换时，
8、会进行试卷的一致性检查（如分配的各个分值与总分是否一致）：第一步：填写试卷总体参数。相应填写试卷名称、试卷总分、试卷号，选择试卷的命制时间等参数。第二步：选择题型及其分配方式。教师根据试卷的要求选择需要的题型，并为每一题型选择分配方式，即统一分配和独立分配，统一分配指一种题型的题目分值相同，独立分配可以为一种题型的不同题目分配不同的分值，并为统一分配的题型提供每题分值。教师可以随时调整已选择题型的呈现顺序并编辑修改，提交后，试卷题型按编号呈现。如图 1-1 所示：图 1-1 （第二步）选择题型第三步：设计试卷蓝图。如图所示，该蓝图即生成了自学考试命题细目表中的第一维表单，题型列是根据上一步中选
9、择的题型而动态设定的。教师先选择预命制试题的考核点（即选择考核内容）并添加到表单中,并在总分值中填写想要分配给该考核点的分数，然后填写各题型各考核点想要命制的试题数目和分值，合计一行会根据教师填写的信息计算出结果并动态改变其值。图 1-2 （第三步）填写考核点分值分配第四步：考核目标详细分配。在每个考核点后点击详细分配，进入到细目表的第二维菜单，详细分配各考核点的将命制的试题的难度层次和能力层次，若不分配题不填即可。如图 1-3 所示：图 1-3 （第四步）每个考核点的考核目标的详细分配第五步：考核目标及内容汇总。该步骤汇总了以上步骤中填入的信息，将用户在各考核点中分配的试题（只是规定了参数，
10、并没有绑定具体的试题）按题型分类，用户可以使用上移下移按钮在同一题型中改变试题参数的顺序，这个汇总表将作为系统抽题的依据。如图 1-4 所示：图 1-4 （第五步）考核目标及内容汇总第六步：保存细目表。保存后制定细目表过程结束，教师可以立即进行抽题，也可保留以后再抽题。系统将根据考核目标及内容汇总信息进行抽题，抽题后教师可针对某一道题进行换题，系统会将试题库中与该题参数一致的试题以列表形式呈现，教师可以选择一题替代原题，而又不会破坏细目表中预先制定的规则。具体的抽题算法如下：（1）获取试卷基本信息和题型结构信息。（2）获取试卷题目详细参数设定信息。（3）对每一题型的每一题目用 Select t
11、op 1 * from TestQuestionInfo order by newid() where 语句随机从试题表中抽取一条满足题目详细参数的记录，并标记此题已经被抽取过，直到组卷完成。如果返回的记录数为 0 则进行出错处理。此步中因只随机抽取一条满足条件的记录，而不是把所有满足条件的记录都返回到客户端后再随机选择一条，大大降低了网络传输负荷。（4）将试题的已抽取标志取消，并修改试题的命中次数，最后命中时间等属性。（5）将试卷内容存入数据库以便以后查找试卷。1.2 基于遗传算法的全自动组卷策略笔者分析了目前智能组卷的常用算法，比较了各种组卷方案的优势和不足，决定采用基于遗传算法的自动组卷
12、策略。深入研究了算法的基本原理和数学模型，确定了面向考核点的适应值函数模型，进行了具体代码的编写和测试，并对实验结果进行了分析总结。1.2.1 遗传算法概述遗传算法 GA(Genetic Algorithm)是一种模拟自然界生物进化过程的随机搜索、优化方法。它是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是由美国 Michigan 大学的 John H.Holland 教授于 1975 年首先提出来的。它采用简单的编码技术来表示各种复杂的结构，并通过对一组编码表示简单的遗传操作和优胜劣汰的自然选择来指导学习和确定搜索的方向。由于它采用种群的方式组织搜索，这使得它可以同时搜索解空间内
13、的多个区域，而且用种群组织搜索方式使得遗传算法特别适合大规模并行。在赋予遗传算法自组织、自适应、自学习等特征的同时，优胜劣汰的自然选择和简单的遗传操作使遗传算法具有不受其搜索空间限制性条件（如可微、连续、单峰等）的约束、不需要其它辅助信息（如导数） 、搜索过程不易陷入局部最优点的特点。这些崭新的特点使得遗传算法不仅能获得较高的效率而且具有简单、易于操作和通用的特性。目前，该算法已渗透到许多领域，并成为解决各领域复杂问题的有力工具。遗传算法是具有“生成+检验” （generate-and-test ）的迭代过程的搜索算法。在遗传算法中，将问题空间中的决策变量通过一定编码方法表示成遗传空间中的一个
14、个体，它是一个基因型串结构数据；同时，将目标函数值转换成适应值，它用来评价个体的优劣，并作为遗传操作的依据。遗传操作包括三个算子：选择、交叉和变异。选择用来实施适者生存的原则，即把当前群体中的个体按与适应值成比例的概率复制到新的群体中，构成交配池（当前代与下一代之间的中间群体） 。选择算子的作用效果是提高了群体的平均适应值。交叉算子首先将交配池中的个体随即配对，然后将两两配对的个体按某种方式相互交换部分基因。交叉算子是产生新个体的主要方法，它决定了遗传算法的全局搜索能力。变异是对个体的某一个或某一些基因值按某一较小概率进行改变。变异算子是产生新个体的辅助方法。交叉和变异相配合，共同完成对搜索空
15、间的全局搜索。遗传算法是一种群体型操作，该操作以群体中的所有个体为对象，选择、交叉和变异构成的遗传操作，使遗传算法有了其它传统方法所没有的特征。遗传操作的设计与参数编码、初始群体的生成、适应度函数的设计、控制参数设定一起构成了遗传算法的核心内容，一般将它们称之为遗传算法的五大要素。遗传算法可以形式化描述如下：GA= (P (0), N, l, s, g, p, f, t)这里 P(0)= (a1(0), a2(0),，a N(0)I ，表示初始种群；I=B l=0,1 表示长度为 l 的二进制串全体，称为位串空间；lN 表示种群中含有个体的个数；L 表示二进制串的长度；s：I I 表示选择策略
16、；g 表示遗传算子，通常它包括繁殖算子 O ：II、杂交算子rO ： IIII 和变异算子 O ：II；c mp 表示遗传算子的操作概率，包括繁殖概率 p 、杂交概率 p 和变异概率 prc；mf：IR 是适应函数；t: I 0,1是终止准则。N遗传算法的基本步骤如下：（1）在一定编码方案下，随机产生一个初始种群；（2）用相应的解码方法，将编码后的个体转换成问题空间的决策变量，并求得个体的适应值；（3）按照个体适应值的大小，从种群中选出适应值较大的个体构成交配池；（4）由交叉和变异这两个遗传算子对交配池中的个体进行操作，并形成新一代的种群；（5）反复执行步骤 2-4，直至满足收敛判据为止。遗传
17、算法的基本处理流程图如图 1-5 所示：对两父体变异后插入到 P(t+1)图 1-5 遗传算法的基本流程使用遗传算法需要决定的运行参数有：编码串长度、种群大小、交叉和变异概率。编码串长度由优化问题所要求的求解精度决定。种群较大时，又会减缓计算速度，使遗传算法的运行效率降低。一般取种群数目为 20-100。交叉概编码并随机初始化群体 P(0),t0计算 P(t)中每个个体的适应值满足终止条件？k0根据个体的适应值比例选择两父体对两父体实行杂交操作NY输出结果开始结束kN?tt+1YNrandom0,1Pc?将后代串变异后插入到 P(t+1)kk+2NY率控制着交叉操作的频率，由于交叉操作使遗传算
18、法中产生新个体的主要方法，所以交叉概率通常应取较大值；但若过大的话，又可能破坏群体的优良模式，一般取 0.4-0.99。变异概率也是影响新个体产生的一个因素，变异概率小，产生新个体少；变异概率太大，又会使遗传算法变成随机搜索。一般取变异概率为0.0001-0.1。遗传算法常采用的收敛判据有：规定遗传代数；得到的最优个体以满足搜索要求；连续几次得到的最优个体的适应值没有变化或变化很小等。1.2.2 遗传算法用于组卷的优势作为一种优化与搜索算法，遗传算法相比于其他算法应用于组卷系统所具有的优势在于：（1）遗传算法的操作对象是一组可行解，而非单个可行解，搜索轨道有多条，而非单条，因而具有良好的并行性
19、。（2）遗传算法只需要利用目标的取值信息，而无需梯度等高价值信息，因而适用于任何大规模、高度非线性的不连续多峰函数的优化以及解析式的目标函数的优化，具有很强的通用性。（3）遗传算法择优机制是一种“软”选择，加上其良好的并行性，使它具有良好的全局优化性和稳健性。（4）遗传算法操作的可行解是经过编码化的，目标函数解释为编码化个体的适应值，因而具有良好的可操作性和简单性。（5）遗传算法易于和别的技术（如神经网络、模糊推理、混沌行为和人工生命等）相结合，形成性能更优的问题求解方法。正是由于遗传算法的诸多优点，很多学者把其应用到组卷系统的研究中，如 D.B.Fogeol 在神经网络的进化学习方法的研究中首次提出把遗传算法用于试题组卷，Gordberg M.W 应用遗传算法的寻优特性为组卷问题建立了寻优模型等，国内的遗传算法发展较晚，但也已将其用于组卷之中。1.2.3 基于遗传算法的组卷策略的设计思想组卷中决定一道试题，即是决定一个包含有试题唯一标识（ID） 、题型、难度、区分度、考核点、考核点类型、能力层次、建议分值的八维向量
