1、1实验教学评价的概化理论初探【摘 要】实验室教学作为高校理论和实践相结合的第一通道，在高校育人和高校建设中发挥着日益重要的作用。建立合理有效的实验室教学评价体系，是提升教学质量、完善实验环境的必要手段，也是展开教学评估、促进教学改革的核心内容。本文从概化理论入手，探讨评价教师实验教学水平的影响因素，建立实验教学考核指标及概化研究思路，为高校实验教学评价献计献策。 【关键词】实验教学；课程评价；概化理论 在中国高校，教学评价是大学进行教师和教学管理的重要手段。高校教学管理部门大多构建和运行以学生评价为核心的教学质量监控和评价体系，通常是以大规模调查问卷的形式下发考核指标量表，然后对问卷调查结果进
2、行统计计算得出考核评分。这种原理直观、做法简单，但可能存在如下几个问题。第一，评价主体的客观性，学生在进行课程评价的过程中，其评价可能受到除教学质量之外的多种因素影响。第二，评价指标赋权的科学性，影响教学质量的因素有多个，如何分配指标间的权重，需要有理论方法支撑。实验教学评价也是如此，准确的评价结果需建立在合理的调查分析基础上，我们需要选择合适的测量理论来分析评估的可靠性。 一、概化理论简述 一般来说，保证测评质量的主要方法是控制测评误差，现代测量理2论主要包括经典测量理论、项目反应理论和概化理论三大类，或称三种理论模型。其中，经典测量理论主要是通过固定测量侧面误差来保证测量的可靠性，实际上一
3、次评估会有许多影响侧面，同时固定多个测量侧面是无法满足的。项目反应理论研究是以潜在特质为假设，并用能稳定反映被试水平的特质量表分代替被试卷面总分作为回归曲线的自变量，更侧重微观分析。概化理论认为，任何测量都处在一定的情境关系之中，应该从测量的情境关系中具体地考察测量工作，测量的总方差可以分解为代表测量目标的方差成分和构成误差的方差成分，从而提出多种真分数与多种不同的信度系数的观念，并设计了一套方法去系统研究多种误差方差的来源。但是概化理论的数学模型相对复杂，统计分析过于繁琐，所以一直没有得到大的发展。直到 20 世纪 80 年代后期，J.E.Crick 和R.L.Brennan 编制了 GEN
4、OvA 专用软件，概化理论才得到了迅速的发展。 二、测量方法 概化理论是在经典测量理论基础上，通过引进实验设计和方差分析的技术而发展起来的测度理论，其测量过程包括以下环节：题目编制的标准化、测度实施的标准化、阅卷评分的标准化以及分数转换与解释的标准化。受实验设计思想的影响，概化理论提出在实施测量时，首先要找出影响测量分数的所有重要因素或者条件，即概化分析不仅仅是将注意力放在测量题目上，而是同时全面考虑影响测量分数的所有重要因素，用样本观察值去估计被试的真值时，不再是去估计一个不涉及具体测量情境且对全体被试得分误差估计看做一致的信度值，而是根据测量目的需要，慎重选择作估计时所涉及的测量侧面及侧面
5、的水平数。总的来说，3概化分析包括概括化研究（G 研究）和决策研究（D 研究） 。 根据教育部普通高等学校本科教学工作水平评估方案中与师资相关的内容，教学质量的评估主要从以下几个方面进行：教学态度，教学内容、教学方法、教学效果。结合实验教学特点，对教师的实验教学水平进行概化分析，可设定教学水平测评面固定，评分者面随机，分别对教学水平固定侧面测量纬度的各个水平进行研究，所用的 5 个纬度分别代表了 5 个单侧面交叉设计，记成 pr 设计，其中，p 是测量目标被测量者（教师）的真实水平；r 指评分者（学生）侧面。 三、概化分析思路 （一）样本选择 随机抽取某高校某授课班级教师的学生测评数据，教师教
6、学水平测评的要素包括实验教学目标，实验教学内容，实验教学过程，实验教学条件和实验教学效果，各侧面的评分均为 20 分。从该授课班级学生中随机抽取若干名，根据各个测评面的要求进行独立评分。整个测评的设计和实施都遵循规范严密原则。 （二）G 研究 GT 认为，G 研究的根本目的在于通过方差分析来具体估计出归因于测量目标、各测量侧面以及各种交互效应的各种总体方差成分的大小，为其后的 D 研究打好基础。如果测评面的水平是该侧面所有可能的众多水平中的一个随机样本，则该侧面是随机侧面。具体来说，如果测评面随机，则一是全域极大，样本相对较小；二是样本是从全域随机抽取的或者各样本可与全域中其它样本随机交换。在
7、本研究中，教师的实验教4学水平的测评包括 5 个测评要素，已基本涵盖了教学水平侧面的全域，故本研究测评水平面固定。分别对固定侧面的各个水平进行研究，G 研究的数学模型为： 其中：代表被试效应，代表评分者效应，代表残存效应。 其中，分别代表各个效应的方差分量，为评分者人数。计算得出的G 系数越大，说明该纬度对说明教师实验教学水平越有效。 （三）D 研究 在 G 研究的基础上，修改设计方案，以寻求改进测量设计，控制测量误差，提高测量信度和效度的最佳策略的过程，即为 D 研究。D 研究是概化分析的价值和效用所在，也是概化分析优于经典测度理论且具有强大生命力的关键所在。 本研究中，固定教学水平测评面，
8、分别进行了 5 个 Pr 单侧面交叉设计，D 研究的数学模型为： 其中：代表被试效应，代表评分者效应，代表残存效应。 根据 G 研究估计的方差和协方差矩阵，估计出 5 个质量因子上的全域分数以及相应的误差估计的方差分量，进而估计出概化系数与可靠性指数，以及相对信噪比。具体而言，D 研究可按以下三个角度展开：第一，问卷评估情境关系不变的 D 研究；第二，问卷评估情境关系不变，指标的权重发生改变的 D 研究；第三，权重不变，改变问卷评估侧面的水平数的 D 研究。可靠性指数越高，说明在该测量纬度上对教师的评价越一致； 四、实验课程评价表 5根据概化分析的结论，本研究对实验课程评价设置专门的测量表格，
9、其中各测量纬度权重可根据前述分析进行调整。具体如下： 五、研究结论 本研究着眼于高校教师实验教学水平评价，探讨了利用概化理论开展测评研究的思路和做法。结合概化理论在高校教学评价中的实践和应用，我们可以发现，第一，概化分析能针对同一次测量资料，根据不同的研究目的而提供不同的测量误差估计指标，使得教学评价更为恰当和合理；第二，概化分析中，教学评估问卷的调查规模可以减少，只要保证抽样的随机性，减少调查问卷的数量同样可以保证评估的可靠性；第三，在应用型人才培养模式中，实验教学意义重大，结合国内大部分本科人才培养计划中实验课程所占比重相对较低的现状，概化理论相对其他测量理论所要求的前提条件最弱，这也使得
10、用概化理论评价实验教学效果显得尤为方便。 本研究对教师实验教学水平的概化分析方法做了初步探讨，所构建的评估指标需要进一步改进和完善，评价体系的指标权重需根据具体分析结果进行重新赋值。实际应用中，只要参加测评工作的学生人数和测评量表中的题目数量合乎要求，概化分析通常都会达到较高的测评精度。参考文献： 1徐建东.试论高校实验教学评价J.高等理科教育，2007，1（总第 71 期）：59-62. 2孙忠梅，蔡艳嫦.地方高校实验教学评价体系的研究与实践6以深圳大学为例J.黑龙江教育学院学报，2009，28（11）：160-162. 3马敬峰，鲁保富，陆开宏.基于学生创新精神和实践能力培养的实验教学内容改革与实践J.中国高教研究，2008（11）：92-93. 4黎光明，张敏强.用概化理论分析高校教师教学水平评估J.高教发展与评估，2009， 25（2）：68-75. 5安哲锋，朱祖林.多元概化理论在远程开放教育毕业生学习效果评估中的应用研究J.远程教育杂志，2007（6）：66-68. 基金项目：上海金融学院财税与公共管理学院实验室建设资助项目。作者简介：刘伟（1979-） ，女，山东即墨人，理学博士，上海金融学院统计系副教授，研究方向：金融统计、技术分析。
