1、毕业设计文献综述 计算机科学与技术 教育测量理论在网络考试系统中的应用 一、前言部分 随着网络技术的发展，特别是网络技术在现代教育领域应用的普及，以纸和笔为主要工具的传统考试方式的诸多弊端显露得越来越突出，而应用现代信息技术构架的网络考试 系统显示了越来越多的优越性，譬如计算机职称、等级考试、计算机职业技能鉴定、英语听力测试等首先得采用上机考试。网络考试从根本上解决了传统考试过程中的工作量大、效率低、反馈周期长、反馈能力弱、资源浪费等缺陷，成为现代教育技术发展与研究的方向。在我国高职教育中，采用网络考试 系统对学生进行考试测评是学校改革的一个新的尝试，通过网络考试系统随机抽取试题库中的试题进行
2、考试和评卷，可以客观、公正的评价学生的学习效果，更容易测量出学生的实际应用水平，对教学管理资源，提升高等教育评价的理念水平具有一定的实际研究价值和使用价值 1 。 高校传统的考试方式一般要经过人工出卷、组织考生考试、人工阅卷等过程。对于一些公共基础课和专业基础课来说，随着考生数量的增加，教师出卷阅卷的工作量将会越来越大，并且其工作十分烦琐和容易出错。随着 Intemet 技术的普及高校网建设的逐步完善，传统的考试方式已经 不能适应现代化考试的需要。 利用校园网资源，开发网上题库与在线考试系统将大大减轻教师出卷阅卷的工作量，是对传统的考试方式的重要改革。而且随着每年的教学资源的积累，每个学校积累
3、了大量的考试题库，如果这些题库以考试的方式用于学生复习，则能做到以考代练，强化学生复习的质量，在评价学生的学习成绩，激发学生的创造力，提高学习效果等方面都起着重要作用 2 。 随着计算机和通信技术的加速发展，研究人员试图采用计算机网络技术用于教育科研。明显的例子包括计算机辅助教学和测试系统开发 3。 随着新一轮的教学改革，人们开始思 考的问题己经不仅仅停留在考试制度和考试形式上，而是进一步考虑如何利用现代教育测量理论和网络技术，对现有考试进行完善。 教育测量起源于古老的考试制度。中国是最早创设考试的国家，可谓教育测量的发源地，但作为一门科学，教育测量学却是西方现代心理学、教育学、统计学等学科理
4、论与实践结合的产物。 所谓教育测量，就是根据一定的原理和法则，针对学校教育影响下学生各方面的发展，从量的规定性上予以确定和描述的过程。教育测量的目的在于了解学生的发展变化及其影响因素，为教育评价和教育决策提供依据。学习方式是影响学生发展的主要因素之 一。学习方式的演变不断推动着教育内容、教育方式以及教育结果测量范式的改变。可以说，任何教育测量及评价都是基于“学习”概念的理解。教育测量理论作为教育测量的原理和法则，其发展以及在教育活动中的应用，也受到学习方式变革的影响。从早期的行为主义到现代建构主义，从经典测量理论到现代测量理论，学习方式和测量理论均经过了近百年的发展，两者之间历经了长期的磨合与
5、适应过程。今天，随着各种新兴科学技术以及多元化学习方式的兴起，教育测量理论的发展也将逐步走向多维化与整合化 4。 教育测量理论在考试中的应用主要体现于考试质量的 评价 ， 即运用教育测量原理和方法对考试结果进行科学分析与评估 ， 进而发挥考试的系列功能。近年来 ， 课程考试的质量评价在各高校日益受到重视并广泛开展 5。 自 20 世纪 20 年代以来，教育测量领域发展起了两种测量理论：经典测量理论 CTT(Classical Test Theory)和项目反应理论 IRT( Item Response Theory)。由于 经典 测量 理论容易理解、操作简单，体系完整，在现实中更易于被接受，因
6、为适应面很广 ，该理论是关于被试潜在特质 (能力水平 )与其对测验项目 (题目 )反应之间关系的理论，又称为真 分数理论，由基本假设 、信度 、效度概念组成。其基本思想是把测验的得分 (通常称为测验的观察分 )看作真分数和误差分数的线性组合，可归结为如下简单 数学模型： X = T + E; X 是观察分数 ， T 是真分数 ， E 是误差分 6。 教育测量虽起源于我国，但重视教育测量理论的应用与研究只是近几年的事。面临 21世纪未来科技挑战，高等教育领域应不断引入科学管理方法以之相适应。从这个角度来看，我认为在高校进一步开展这方面的探讨将是非常有意义的 7。 在 IT 技术高速发展的今天，人
7、们利用 IT 技术开发出了许许多多的网 络考试环境，这给考试环境带来了很好的效果，但是，很多网络考试系统功能不统一，也不齐全。数据统计、题型兼容性能不是很良好，组卷策略弱等不足，仍然不能满足现代考试的要求。因此，需要一种功能更加强大的网络考试系统 8。 二、主题部分 全国教育考试科研工作“十五 ”规划中，明确要求教育考试的科研工作要在教育评价体系中发挥重要作用。分析现有的考试制度和考试形式，发现都存在着应试教育的种种弊端，缺乏对考试信息的深度挖掘，未能体现考试的诊断和评价功能 ，使教育评价工作因缺乏实质性的数据而不能完全展开，总结其原因就是在整 个考试系统中缺乏教育测量理论作为设计的指导。 另
8、一方面，网络考试系统作为网络教学平台的一个重要组成部分，利用 Internet 的开放性 、分布性以及基于 Internet 的巨大的计算能力，突破了传统考试在时间和空间上的限制 ，成为现代教育的主要测试手段之一 。 如何将先进的教育测量理论应用于现代的网络考试系统中，充分发挥两者的优点，以先进的理论指导先进的技术，使考试的形式和目的更适应现代教学理念的发展，真正服务于教学，这是现代网络教学发展需要解决的一个重要问题 9。 (一 ) 测量与考试理论的历史演进 测量理论自身的重 大发展出现在 20 世纪，可分为两个阶段 10。 第一个阶段为古典测量理论阶段，其时间在 20 世纪五六十年代之前。这
9、一阶段，测量理论的主要特点是以真值理论为基础，以信度、 效度、 难度和区分度为指标。其基本假设是考生的分数并非一个绝对的值，而是其真实能力或技能的反应与测量误差的和，所以称为真值理论。在这个假设的基础上延伸出来了信度、 效度、 难度和区分度这些概念。另外在这个阶段，人们逐步建立并完善了测验发展的标准化程序，通过标准化的程序提高所编制测验的信度和效度。古典测量理论对于考试实践曾经起过非常大的指 导作用。 第二个阶段为项目反应理论阶段。自 20 世纪 60 年代开始，围绕古典测量理论的一些问题展开的讨论促进了测量理论的新发展，最终导致了新的测量理论的产生，即现在流行的项目反应理论。项目反应理论的主
10、要特点是：采用严格的数学模型来刻划不同能力水平的测试者对测试题目的反应模式。项目反应理论相对于古典测量理论来说取得了巨大的进步，以一个简单的例子来说明：在古典测量理论中，一套题或者一道题的难度是以通过率来定义的，即通过某一题目的百分比。但问题是，对不同能力水平的考生来说，难度概念的意义是不一样的，即能力低的考 生觉得难的题目，能力高的考生并不觉得难。所以古典测量理论的难度概念往往是一个平均的概念，区分度也存在同样的问题。它们都没有真正地反映出题目和被测试者之间一种真正的交互关系。项目反应理论针对上述问题对古典测量理论进行了拓展，体现出了它的优越性，而且项目反应理论还与信息技术进行了有效的结合，
11、在最近几年取得了长足的发展，其应用领域得到广泛扩展，例如当今的托福考试以及 GRE 等考试都运用了项目反应理论。它已经颠覆了古典测量理论，呈现出巨大的应用前景，目前正在蓬勃兴起的计算机自适应测试就是一个有力的证明。 但是项目 反应理论也并非完美的测量理论，它也存在一些有待完善的问题。这些问题主要来自于项目反应理论三个非常严格的基本假设，即单一维度假设、局部独立性假设和单调递增假设。因此从 20 世纪 90 年代至今，围绕项目反应理论产生了很多新的研究和新的动向，如 :多维度项目反应理论、 非参数项目反应模型和认知诊断理论等。值得关注的是认知诊断理论，运用这个理论，我们能更深入地了解隐含在考生总
12、分背后其认知技能之间的差异，这为我们深入挖掘考试信息提供了一个有力的工具 11。 （二）网络化考试系统的优势 网络化考试是对传统考试的一种 延伸与变革，它可以充分利用网络无限广润的空间随时随地的对学生进行考试，不受时间与空间的限制，大大地简化了考试的过程，减轻了繁重的考试管理工作，避免了考试过程中的人为因素，提高了考试考核水平和管理水平。与传统的考试相比，网络化考试系统的优势主要体现在如下几个方面： (1) 保密性强 在传统考试中，通常下发试卷等环节需要较长的时间，接触的入员相对较多，给保密带来一定的困难；而在线网络考试系统则采用试题库方式来提供试题来源，考前无任何成套试卷；考试时考卷由计算机
13、现场随机生成，各考生的试卷不完全相同，避免互相参看导致作弊现 象或不公平成绩等；试题库可指定专人负责管理，从而增强保密性。 (2) 客观性较强 采用传统考试时，出于出卷、印刷比较麻烦等原因，一般一次考试所印试卷套数较少，试卷整体覆盖面有限，容易形成小范围复习或猜题等倾向，影响了测试的客观性；另一方面也容易形成作弊现象；而在线考试系统采用隧机抽题组卷的方式，试题抽取面相对较大，并且同时生成多套试卷，试卷整体覆盖面大，可基本反映考生的实际水平，防止突击复习或猜题、作弊得高分等现象，从而保证考试的客观准确性。 (3) 迅速准确，公平公正 对于标准化试题而言，在线考试系统可自动评分，迅速准确 ，无任何
14、人为因素，从而避免人为误差及人情分等问题，保证考试的公平公正。 (4) 便予组织大规模的异地实时考试 以网络技术为支撑的现代计算机己经具备较大的规模并相当普及，利用计算机网络组织实施大规模的异地实时考试已成为现代考试中的一种重要的方式，在线网上考试系统是其中最关键的一环。 (5) 降低考试成本，提高考务管理效率 采用网络考试方式可以把教育者从繁重的考务管理工作中解放出来，而把精力重点方在试题库的精心组织和维护上，这一方面可以有效的提高测试水平，另一方面也可以节约入力、物力、财力从而降低考试成本 12。 (三 ) 网 络化考试系统研究现状 1.国外研究现状 随着信息技术发展，考试采用计算机的形式
15、也迅速发展起来，在国外发达国家，计算机考试己经在教育考试、职业测量、人事测评等多种领域广泛应用，如美国研究生的入学考试、工商管理类研究生入学考试以及全美护士国家委员会资格考试等。目前国际上的一些认证考试如微软认证、 Cisco 认证、 GMAT 考试、 TOFEL 考试等，都采用基于网络的机器考试形式。如知名度较高的微软专家认证 MCP(MierosoftCertifiedProfessional)是由美国微软公司委托国际著名的考试机构 svlvan 公司主持的认证考试，该考试采用通过专用线路下载的国际标准化考题，全部考试均在互联网计算机环境下进行，并可以实时获得考试成绩单刃。目前全球每年有超
16、过 8000 万人次通过互联网来接受教育，各大厂商和机构也不断推出一系列的考试和认证，如微软 MCSE、 Cisco 的 CCNA、 CCNP 等，这些都是基于 B/S 模式的 MIS 架构的网络化考试。 比较有影响的机器考试是 ATA 公司的考试系统。 ATA 在产品和服务中使用的核心技术包括 DST 技术 (动态模拟考试技术 )、 RET 技术 (真实环境考试技术 )、 SRAT 技术 (全真环境下动态转 换技术 )、 LAS 技术 (智能化考试结果判定技术 )、 ZNM 技术 (智能化、非线性多元组卷模板技术 )。 DST 技术是动态模拟考试、培训的技术，它基于图论的语义状态转换理论，在
17、 ATAe一 Testing 通用平台上模拟全真环境的应用软件和系统软件的操作过程及步骤。其模拟过程体现了全真环境的动态特点，对于考试、培训的过程及结果进行全程跟踪。 DST 技术摆脱了软件产品对运行环境的依赖性，完全独立于真实的执行环境。 RET 技术是基于组件对象模型，以多进程运行方式，允许用户在全真环境下操作，然后捕捉操作过程及操作结果，在操作过程中实现 智能提示及个性化教学、培训。 SRAT 技术是面向网络考试中的主观题 (如编程题 )而专门设计的，该技术可判断在各种语言软件、数据库应用软件坏境下，可在模拟一全真环境下动态的自动双向转换。 ATA 公司在我国主要的省、市、自治区建立了庞
18、大的特许授权考试网络，提供多种内容的考试和培训服务 ;主要目标是模拟真实考试环境，特别适合计算机操作性题目的考试。 ATA 公司的产品和服务中使用的核心技术，有较多可取之处。但 ATA 考试软件更多的是用于开展计算机信息技术的考试，考试的管理也基本上由 ATA 公司专人负责，这对于考试环境、内容随 着时代的发展而发生很快变化的各类考试来说，具有一定的局限性。 2.国内研究现状 在国内也有许多考试系统出现并投入了使用，如人事部组织的专业人员计算机应用能力考试，交通管理部门进行的驾驶员理论考试等。计算机考试系统在未来的一段时间内必将成为高等教育考试的一种主要形式。在全国教育考试科研规划工作中，明确
19、要求教育考试的科研工作要在教育评价体系中发挥重要作用，在考试研究领域创造出丰硕的成果以全面提高教育考试质量，推进考试事业发展，为改革和完善教育考试制度工作服务。近年来，国家在高校教育中己经全面开展了计算机等级考试 及各种认证考试。近日，教育部宣布，为创造安全、便捷、高效的考试平台，大学英语四、六级考试将实现机考，统一在网上进行。许多高校都相继投入了大量的人力、物力自行设计符合实际要求的教学考试平台，并相应取得了一定的成果。 关于计算机基础课的网络 (无纸化 )考试系统种类很多，涉及到很多学校和部门，且都具有在线抽题、在线评分等功能。如 2003 年，由北京市教委组织，几大高校参加开发的基于We
20、b 的计算机基础课程在线考试系统，并在北京工业大学等几个学校推广使用，系统中建立了一套拥有 6000 道试题的题库。 国内计算机等级考试较早 地采用了网络考试系统。这种考试系统一般采用局域网的形式，将题库统一安装在各考点的服务器上。为了测试系统的方便，在正式考试之前，一般给每个考生一次模拟考试的机会。考试过程可由管理机进行动态监控，考生登录时间、考试状态和结束状态一目了然 ;考生考试过程中遇到死机的情况可以二次登录，可在原有时间和原先答题的基础上继续考试。基于各考点学校都有机房，有较好的局域网条件，因此各省的计算机考试系统大多采用 C/s 模式开发，因为安装客户端软件后，很容易实现对各种应用程
21、序的调用，对各种文件的访问，并且可以在子程序间自由切换，方便 考生的考试操作，真实记录并评价出考生的操作能力。 全国计算机等级考试也采用此种模式，经过十几年的发展，现在考试的科目也越来越多，题库越来越丰富，评卷越来越科学 13。 (四 ) 测量理论的应用现状 目前教育理论指导的网络考试系统主要应用于两类不同的测试：一是针对课程考试的学业成就测量，它是以教学大纲作为参照，以检测教学目标实现的程度为目的。二是以鉴别被测试对象相对水平的选拔或甄别考试。 现有的针对课程考试的网络考试系统，大部分都是以经典测量理论为指导思想而建设的。分析目前我国教育的基本规律和教学过程特点，课 程考试的主要目的是检测教
22、学目标实现的程度，而大多数考试都属于标准参照测验，考试关注的是样本群体的水平，经典测量理论的项目分析指标体系和评价标准都能较好的指导考试功能的实现。 当前发展起来的计算机化自适应考试，测验本身自动地去适应被测试对象的具体情况，在施测试题的难度和数量上去适应被测试对象特点而灵活变通。自适应考试都具有下列一些特征： (1) 有一个由一定量精选而来的测试题所组成的题库作为支持 ; (2) 按照一定的策略进行选题并根据被测试对象的作答情况不断地调整测试题 ; (3) 按一定的规则终止测验，评分在 实施测试的过程中进行。 由于 IRT 具有参数不变性，它不受测样本影响，同时可以根据题目的信息量，选择难度
23、与被测试对象能力相匹配的题目。所以目前多以 IRT 理论为指导，建立计算机化自适应考试系统，例如 TOFEL 考试、 GRE 考试等所采用的自适应考试形式都是以 IRT 作为理沦指导的 14。 (五 ) 问题评述 对国内网络考试现状分析发现现有的网络考试功能比较单一，缺乏对考试信息的深度挖掘，未能体现考试的诊断和指导功能 ;考试内容的人为性和主观性明显，很多考试内容往往因为命题人员的变动而各有侧重、各有不同 ;测试的内容缺乏知 识之间的联系与组合，没有反映出考生的学业能力。分析原因，是因为现有的考试系统往往缺乏科学考试理论的指导，只是把大量的题目收集到数据库中，简单地按科目分类，对于试题的难度
24、、知识点以及区分度等信息很少涉及，所以这种考试系统容易导致试卷设计的不合理，被测试对象的真实水平不能被有效地反映出来，无法对试卷进行系统地分析，也不能为下一次考试提供有价值的参考。总的来说体现为以下几点： (1) 题库系统没有以知识点划分存储结构，大量的试题只是简单的存储在数据库中，这样的存储形式造成对试题库系统的维护和更新不方便。 (2) 试题没有设置必要的参数，无法依据教育测量理沦为系统建立必要的数学模型，这种状况下实现的组卷策略往往组卷效率低下，生成的试卷质量也不够理想。 (3) 缺乏试卷分析能力，现有考试系统的主要功能大部分还停留在实现在线考试的基础上。因为缺乏教育测量理论的指导，系统
25、只是对被测试对象的考试结果做简单评分和统计即不会对试卷和试题做出分析，也不会对被测试对象的测试情况做出分析。网络考试系统的技术优势没有被充分发挥出来。 因此，以教育测量理论作为网络考试系统设计与实现的理论依据，是完善网络考试系统功能，使其在教育评价体系中真 正发挥指导作用的重要问题。并且随着 软件工程技术、信息通信技术的快速发展以及计算机网络技术的日趋成熟， 研发 基于教育测量理论的考试系统无 疑具有非常重要的意义 15。 三、总结部分 随着计算机技术的发展以及国际互联网的普及，网络考试已经成为了一种重要的考试方法。 与传统考试相比，从老师角度来说，能大量减轻批卷，改卷而带来的大量工作，从学生
26、的角度来说，更能体现公平，公正的原则，但分析现有的网络考试系统发现它还存在着一些问题例如功能单一，缺乏对考试信息的深度挖掘，缺乏教育测量理论的指导，系统只是对被测试对象的考试结 果做简单评分和统计即不会对试卷和试题做出分析，也不会对被测试对象的测试情况做出分析。网络考试系统的技术优势没有被充分发挥出来。 随着网络技术的飞速发展和不断成熟，通过 ASP.NET 技术，对参数的设定，数据库的设计，我相信这些问题 将迎刃而解 , 相信在不久的将来，网络化考试将会有巨大的发展。 四、参考文献 1 张华 .用 ASP 开发基于 B/S 模式的网络考试系统 J.大众科技 ,2006,(2)： 82-83
27、2 李斌 .网络考试系统设计与实现 J.电脑知识与技术 ,2008,(S1)： 85-88 3 Gwo-Jen Hwang.A conceptual map model for developing intelligent tutoring systemJ.Computers & Education,2003,(4)： 217-235 4 余仙菊 .多维与整合 :从学习方式演变看教育测量理论的发展走向 J.学术论坛 2007,(03)： 186-190 5 余仙菊 ,彭如宽 ,卢凤娟 .教育测量理论在高校课程考试中的应用研究 J.中国高等医学教育 ,2006,（ 8）： 23-24 6 范晓玲
28、 .教育评价论 M.长沙：湖南教育出版社 ,1999 7 范秀娟 .选择科学方法 摒弃主观经验 -略谈计算机试卷生成系统中教育测量理 论的应用J.中医教育， 1999， (6)： 37-40 8 胡秋梅 ,谭云兰 ,肖媛娥 ,刘启岳 ,陶黄林 .网络考试系统的设计与实现 J.科技广场 ,2007,(11)： 146-148 9 周西柳 .教育测量理论在网络考试系统中的应用 J.新余高专学 ,2006,11(6)： 101-102 10 辛涛 .项目反应理论研究的新进展 J.中国考试 ,2005,(7)： 18-21 11 辛涛 .新课程背景下的学业评价 :测量理论的价值 J.北京师范大学学报 ,2006,(1)：49-52 12 王超 .基于 ASP.NET 的网络考试系统的设计与实现 D.大连：大连理工大学 2009 13 肖毅 .网络考试系统安全及容错处理的研究与实现 D.长沙： 中南大 学 2009 14 王茶生 .教育测量理论在网络考试系统中的应用 D.上海： 华东师范大 学 2007 15 林静 .网络考试系统的设计与研究 D.成都： 电子科技大 学 2007
