1、安徽省教科院 钟能政2017.5.18长沙,基于标准的学生生物学核心素养发展水平的评价学习汇报,汇报提纲,1 关于基于标准的教育考试2 例举难点问题3 例举需关注的问题,1 关于基于标准的教育考试,1.1 基本概念测量是指按照确定的过程、方法和规则对对象的特征进行量化的过程。“测验实质上是行为样本的客观的和标准化的测量”，教育测量的主要工具。考试是根据一定的目的，按照一定的要求，通过考生解答问题或解决实际问题的过程和结果，推测考生具备某一心理特征（如知识、能力）的程度。大多用于学业成就测量之中。评价是指为决策收集系统资料的过程。在这个过程中，包括鉴别、获取和提供可供教育或教学决策之用的资料、意
2、见和价值判断。,测量、考试、评价的关系,区域1代表与测量和考试无关的评价活动，如对学生行为的定性描述，以诊断其学习方面的问题；区域2代表与测量有关，但与考试无关的评价，如教师用排序的方法给学生打分；区域3是考试用于评价活动，如利用学业考试成绩来确定学生的学习进步情况；区域4代表非评价性的考试活动；区域5表示既不是考试，也不是评价的测量活动，如在第二语言研究中，按照母语对对象进行赋值。,1 关于基于标准的教育考试,1.2 根据不同标准，可以对测验进行多种分类测量目标：学业成就测验、智力测验、能力倾向测验和人格测验测验结果可以与班级以外其他类似群体的测验结果相比较的程度（教师自编测验与标准化测验）
3、与个体相比较的群体或领域（常模参照测验与标准参照测验）测验涉及的人数（个别测验与团体测验）评分标准（客观测验与主观测验）允许使用的时间量（难度测验和速度测验）文字测验、表现性测验所抽取的行为属性（样本测验和指标测验）,1 关于基于标准的教育考试,1.3 基于标准的教育考试核心思想：制定严格的课程标准，建立与课程标准调整一致的考试。基本特征：强调考试与内容标准的一致性调整。强调根据表现标准报道考试的结果。实际操作采用划界分数将学生的考试结果转换为与表现标准描述相一致的等第。作用：学生学业水平方面的信息。教学和课程绩效方面的信息。,2 例举难点问题,2.1 纸笔测验中如何考查核心素养2.2 真实性
4、评价中的评分规则制订2.3 标准设置：进行等第划分,2.1 纸笔测验中如何考查核心素养,如何构建科学评价学科核心素养发展水平测评框架？现行高考测评框架考核目标与要求理解能力、实验与探究能力、获取信息能力、综合运用能力考试范围与要求,2.1 纸笔测验中如何考查核心素养,他山之石PISA2015 协作问题解决能力定义：个体有效介入有两个或更多其他个体同时尝试的，通过分享对问题的理解和努力达成一种解决方案的能力，这种解决方案融合了他们共同的知识、技能和努力。考查模型：协作问题解决能力矩阵,2.1 纸笔测验中如何考查核心素养,他山之石地理：具体任务设计举例,2.1 纸笔测验中如何考查核心素养,如何构建
5、科学评价生物学科核心素养发展水平测评框架,学业水平测试与内容标准、学业质量水平调整一致，才能发挥评价的目标导向、行为改进、控制管理等功能,2.1 纸笔测验中如何考查核心素养,如何提供标准参照的、有实质内容的结果反馈学业水平测试，应以生物学学业质量标准的水平特征为依据，结合具体任务和学科内容，制订等级化的、描述性的评分标准，明确生物学教育目标和表现期望，引领学习和教学。评分标准案例,2.2 真实性评价中评分规则制订,基本概念真实性评价指教师让学生完成一系列真实性任务，或在模拟真实的情境中给学生以解决实际问题的任务，用以考查学生知识和技能的掌握程度，以及实践、解决问题、交流合作、批判性思维等多种复
6、杂能力的发展状况。真实性评价最常见的操作模式表现性评价：建构反应题、书面或口头报告、项目研究、角色扮演、实验操作、资料收集和作品展示。档案袋评价：过程性、成果性、综合性档案袋。基于观察的评价：常用方法有系统的观察和轶事记录法、检核表、等级量表、调查量表、访谈等。,评分规则（量规）,表现性准则是对学生的回答、作业和表现进行评判的指南、规则或原则。它告诉我们如何评价学生的表现或成果的水平。有些准则很简单，像检核表、作品量表等。有些则复杂得多，以求解释学生作业多样性的本质特点。把复杂的表现性准则定义为“评分规则”。高质量的评分规则不仅包括表现的层次，还明确了合格表现的核心要素。评分规则一般会伴有成果
7、或表现的具体例子，以阐明量表上的不同评分点。,PISA2015“协作问题解决”评分规则（整体）,协作问题解决能力：个体有效介入有两个或更多其他个体同时尝试的，通过分享对问题的理解和努力达成一种解决方案的能力，这种解决方案融合了他们共同的知识、技能和努力。评分规则：高级水平：学生可以灵活利用信息和提示，选择有助于组织目标实现的行动。学生会主动采取行动，积极寻求其他成员的信息和帮助，有效应对冲突、变化和消除阻碍。作为一个负责任的团队成员，在需要时会主动采取措施消除协作解决问题时的各种阻碍。中级水平：学生可以获得大部分的信息和提示，基本可以选择有助于目标实现的行动，基本能够完成自己的角色任务，甚至偶
8、然也会采取主动行动。中等水平的学生属于好队员，但在团队协作解决问题时的积极性和主动性不足。低级水平：学生可以获得问题的基本信息，但这些信息与任务完成基本没有关联。当学生得到明确、重复的提醒时，学生会随机采取无意义的行动，但对组织目标实现的贡献很小。这部分学生往往单独行动，也与自己的任务角色定位不相符，其行为和协作不能帮助团队消除潜在的问题障碍。,模型建构活动的评分规则（分项）,模型建构活动的评分规则（分项）,模型建构活动的评分规则（分项）,特定的评分规则真核细胞三维结构模型DNA分子结构模型制作生态瓶，并观察其稳定性一般的评分规则模型建构活动评分规则,选择整体/分项评分规则?,选择一般/特定评
9、分规则?,开发量规的方法,选取有代表性的学生作业为样例把选出的学生作业分成不同的水平组，并说明分组的依据把分组依据总结为表现的“要素”或重要方面给每个要素下一个客观的定义找出与每个要素的各个评分点相对应的学生表现做样例不断改进评分规则,开发量规的基本步骤,预想评价中渴望得到的学生表现什么样的学习结果达成了学习目标？希望的学生表现、行为、结果（一个理想的心理图景）决定任务表现标准（可参考或改编已有的量规）理想的、可接受的、不可接受的表现的细节特征是什么？用词语或符号列出一个表现指标的框架定量的量规一般列出515个左右的指标定性的分项量规、整体量规一般列出46个指标,开发量规的基本步骤,试用评价试
10、用列出的表现指标框架收集学生的不同表现为量规编写不同的水平层次（可参考或改编已有的量规）确定表现的层次依据收集的学生的不同表现写出不同水平层次的描述语。为学生开发量规为学生编写量规让学生编写一些简单的量规执行评价、试用量规修订量规,开发量规的建议,使用学生工作（成就）的样例给评价开发量规并提供给学生让学生创编一些量规允许合理的答案多元化不要假设频率（次数）是质量的唯一指标限制评价的范围考虑难度的水平层次避免使用比较词确定水平层次的数量在使用评价的过程中不要随意修订量规,开发量规的建议,在初步设计好量规，准备开始使用量规进行评价之前，建议量规设计者最好能完成以下步骤：与同事交流，征求同事的意见；
11、与学生交流，征求学生的意见，尤其是要看量规的描述对学生来说是否是清晰的和明确的；检查量规是否与评价标准相一致；检查量规是否可行和易于操作；考虑学生在量规中的可能的表现。,如何判断评分规则是合格有效的？（元规则）,元规则是分项评分规则，包括四个要素：内容、清晰度、实用性、技术合理性。元规则使用的3点量表：3=可直接使用，2=需要修改，1=刚刚起步。,2.3 标准设置,定义：按照事先规定的、合理的规则系统产生区分两个或多个学业状态或水平的分数的过程。通俗地说，标准设置就是基于标准的教育考试结束后，考试机构邀请部分专家，按照一定的方法和规则，依据事先确定的学业质量标准，确定一个或若干个划界分数的过程
12、。现行高中学业水平考试定义为标准参照考试，但划分等第的方法往往采用常模参照的方法。国家基础教育质量监测划分等第的方法是标准参照的方法。标准设置的具体方法Angoff法： Angoff评分：最低能力考生在每道试题上做出正确应答的概率。所有试题的Angoff评分之和就获得划界分数。书签法：要求评判专家在一个专门预备的、由考试的试题组成的题册中放置一个或多个书签，来确定一个或多个划界分数。 雷新勇：基于标准的教育考试（p204-263）,3 例举需关注的问题,3.1 考试结果报告3.2 测量工具的评价3.3 信息技术的应用,给考生家庭的成绩报告,3.1 考试结果报告,给考生家庭的成绩报告,给考生家庭
13、的成绩报告,给考生家庭的成绩报告,给学校的成绩报告,给学校的成绩报告,给学区的成绩报告,给学区的成绩报告,3.2 测量工具的评价,试题质量的初步评价测验分数的分布状态、平均分、标准差试题的信度：反映测量工具可靠性的指标试题的效度：一个测验能够测出其所要测量的特性或功能的程度项目质量评价项目的难度分析项目的区分度分析选择题的反应模式分析,测验分数的分布状态,常见的考试分数的次数分布曲线：正态分布。说明测试结果与学生的实际状况一致，各种难度的项目比例合理正偏态分布。说明试题难度偏高，难度较大的项目比例偏大。呈这种分布的试题有利于将成绩优秀的学生和中等程度的学生区别开，但不利于将中等程度的学生和成绩
14、较差的学生区别开。负偏态分布。说明试题难度偏低，难度较低的项目比例偏大。呈这种分布的试题有利于将成绩较差的学生和中等程度的学生区别开，但不利于将中等程度的学生和成绩优秀的学生区别开。双峰形分布。说明试题存在两极分化现象，即难度偏高的和难度偏低的项目较多，而中等难度的项目偏少，项目难度的分布缺乏梯度，不够合理。呈这种分布的试题可以区别中等程度的学生，但不利于区别成绩优秀和成绩较差的学生。平坡形分布。说明试题各种难度的项目比例接近，梯度较大。呈这种分布的试题区分度较高，但分数之间的差异偏大。陡峭形分布。说明试题中等难度的项目较多，梯度偏小。呈这种分布的试题几乎不能将不同程度的学生区别开，分数分布过
15、于集中。,基于标准的教育考试的效度检验,解释性论证.评分推测：根据考生在所有试题上的表现获得的观察分数是准确的假设1：试题的评分标准是正确的，合适的假设2：评分过程中，评分标准的使用准确、一致假设3：评分结果不包含其他偏差假设4：用来将观察分数转换为量表分数的模型与观察数据是拟合的.概化推测：用观察分数推测概化分数是合适的假设1：试题覆盖的知识内容对概化而言具有足够的代表性假设2：试题样本足够大，控制的测量误差能够满足决策要求,基于标准的教育考试的效度检验,.外延推测：以概化全域分数代表目标领域或学科的分数是合理的假设1：概化分数与目标领域或学科分数相关假设2：概化全域的测量目标与目标领域的测
16、量目标一致，或者概化全域分数反映的特质内涵与目标领域或学科要求的特质内涵是一致的.决策：高分的考生学习达到高水平的要求，低分的考生学习只达到较低水平的要求，甚至未达到课程标准的要求假设1：目标领域的表现标准是合适的，包括表现标准水平、名称、描述等能够反映考生在目标领域或学科学习上的差异假设2：标准设置方法是合适的，标准设置按照确定的要求和程序进行假设3：划界分数的误差得到合理的控制效度论证：评价解释性论证的一致性；论证推测和假设的合理性,选择题的反应模式分析,如果难度值接近于1.0，说明？如果某个迷惑答案几乎没有被选择，说明？如果某错误答案选择率高于正确答案，说明？如果规定选择题的正确答案只有
17、一个，而高分组学生的选择却集中于两个答案，且两者的选择率相近，说明？如果高分组对正确答案的选择率与低分组相近甚至更低，说明？如果某项目各个被选答案的选择率几乎相同或未作答的人数较多，说明？难度适中、区分度较高的选择题，表现出两个共同的特点：正确答案的选择率最高；迷惑答案的选择率相同或相近。,3.3 信息技术的应用,实现核心素养的可测评性基于计算机的评价为控制测评环境、收集和分析学生表现提供了有效手段。PISA2015“协作问题解决”就采用一种类似计算机游戏的考查方式。计算机采用人工智能技术模拟出一个“智能执行者”（Agent）。它模拟具有不同技巧和能力的团队成员。学生同这个智能执行者进行协作。考试结果的统计分析考试结果的报告,谢谢！,
