1、多媒体信息呈现方式的行为研究,答辩人: 詹 林导 师: 专 业: 教育技术学,论文框架,研究问题与过程,结果分析与讨论,结论局限,文献综述,文献综述,媒体多媒体多媒体学习,双重编码理论记忆容量有限理论认知负荷理论多媒体学习三个假设Mayer的多媒体学习理论,国内多媒体学习的相关研究国外多媒体学习的相关研究,多媒体相关概念,多媒体学习的相关理论,多媒体学习的相关研究,01,02,03,文献综述,媒体,媒体是指在信息的传递过程中，在传者与受者之间承载和传递信息的任何物质工具或载体。 现代传播技术与媒体的发展正潜移默化地改变这人们的生活，使人类的视野更加开阔，对事物的观察能力提高了，人们对信息和经验
2、的表达能力大大增强，再不仅仅局限于早期的口耳传授教育形式。,多媒体,多媒体(multimedia)可以简单地理解为将文字、图形、声音、图像、动画等多种信息媒介进行有机的组合并加以处理的媒体。 Mayer将多媒体定义为用文本和画面来共同呈现材料 文本打印文本 (Priniedtext)口头文本 (spekentext) 画面静态图形（包括插图、图表、照片和地图等） 动态画面（包括动画、录像和视频剪辑等）,多媒体学习,传输媒体观多媒体是指使用一种以上的传递设备来呈现学习材料，这是从技术的角度来讲的。 呈现模式观多媒体是指使用一种以上的信息呈现方式来呈现学习材料，这里关注的是材料被表征和编码的方式。
3、感觉通道观多媒体呈现要能使学习者使用多种感觉通道对信息来进行加工。感觉通道观主要关注到的是学习者信息加工的活动中使用的感觉接收器。,双重编码理论,记忆容量有限理论,theory of limited memory storageMiller于1956年提出的，并以实验验证对数字记忆的广度为72个组块图片的记忆广度大约是5到7个组块,资源有限理论,图式理论,认知负荷理论,多媒体学习的三个假设,人们对视觉表征材料和听觉表征材料拥有单独的信息加工通道。,人在每个通道中的加工容量还是非常有限的（72个组块）,主动加工过程：形成注意、组织新进入的信息、将新进入的信息与其他知识进行整合,双向通道假设,容量
4、有限假设,主动加工假设,Mayer的多媒体学习认知理论,这个模型通过五个步骤激活：l)为言语工作记忆选择相关的词语2)为视觉工作记忆选择相关的图像3)将所选择的词语组织到一个言语心理模型4)将所选择的图像组织到一个视觉心理模型5)将言语和视觉呈现并与先前知识三者整合,多媒体信息设计的十大原则,国外多媒体学习的相关研究,多媒体教学设计的两种取向,多媒体学习的三种结果,多媒体学习认知过程的五个步骤,多媒体教学设计的两种取向,多媒体学习相关研究,机械学习,无效学习,有意义的学习,多媒体学习的三种结果,step1,step2,step 3,step 4,step 5,选择相关的文字,选择相关的图像,组
5、织所选择的文字,组织所选择的图像,将基于文字和基于图像的表征进行整合,多媒体学习认知过程的五个步骤,空间邻近原则,双向通道原则,控制冗余原则,切块呈现原则,多媒体信息设计的十大原则,聚焦要义原则,个体差异原则,多媒体认知原则,时间接近原则,提示结构原则,对话风格原则,研究问题与过程,新疆实施双语教学的大环境下，新疆师范大学实施免费师范生后，民汉混合编班进行汉语授课的诸多问题,多媒体教学的普及应用,与Mayer研究的不同,实验对象,材料的呈现方式,实验方法,问题的提出,研究的问题,多媒体学习,民族差异？,在基于计算机的多媒体学习环境下，汉族和少数民族学习者（民考汉或双语实验班学习者）之间是否存在
6、差异。,性别差异？,在基于计算机的多媒体学习环境下，男生和女生的多媒体学习效果是否存在性别差异。,通道效应？,在基于计算机的多媒体学习环境下，学习材料以“视频+解说”和“视频+字幕”（视频和字幕的呈现符合空间接近原则）的形式呈现给学习者，研究此种情况下通道效应是否存在。,冗余效应？,在基于计算机的多媒体学习环境下，学习材料以“视频+解说”和“视频+解说+字幕”的形式呈现给学习者，研究此种情况下冗余效应是否存在。,“学习-再认”,被试间,2民族（汉、少数民族）,3种呈现方式,E-Prime,实验设计,E-Prime简介,E-Prime是实现心理实验计算机化的一个可视化编程语言平台，是一个涵盖实验
7、生成到毫秒精度的数据收集分析的应用软件套装。 功能：实验设计、生成、运行、收集数据、编辑和预处理分析数据,Eprime的优点,E-Prime能呈现的刺激可以是文本、图像和声音（可以同时呈现三者的任意组合）提供了详细的时间信息和事件细节（包括呈现时间、反应时间的细节），可供进一步分析，有助于了解实际实验运行的时间问题专门面向心理实验，并针对心理实验的时间精度作了优化。刺激呈现与屏幕刷新同步，精度可达毫秒,性别：男性 女性,族别：汉族 少数民族,被试分组：1组 2组 3组,39%,47%,34%,61%,53%,33%,33%,本实验的被试选自新疆师范大学2011级的49名健康大学生。年龄17-1
8、9岁；被试均为视力正常或矫正后视力正常；听力正常；被试上肢手指齐全且可进行灵活操作。,研究对象分析,被试分组,49名被试随机分组,呈现方式,1组视频+字幕,2组视频+解说,3组视频+字幕+解说,结果分析与讨论,民族差异分析,2. 正确率：R汉R民 Sig=0.008,1. 反应时：T汉T民 Sig=0.041,少数民族,汉族,少数民族,汉族,反应时,2317.0毫秒,1903.5毫秒,0.745192,0.847826,正确率,差异显著！,差异显著！,正确率,T男R女 ，Sig=0.155,50%,反应时,1850.8毫秒,0.770833,0.828947,性别差异分析,2295.3毫秒,性
9、别：男性 女性,39%,61%,差异显著！,差异不显著！,信息呈现方式分析,反应时,正确率,T2=1891.9ms,T3=2579.7ms,R1=0.823529,1组：图文组,2组：图声组,3组：图文声组,R2=0.835938,R3=0.718750,T1=1910.4ms,R2R1R3,Sig=0.008,T3T1T2,Sig=0.028,差异显著！,差异显著！,反应时组间差异的事后检验,冗余效应极其显著！,通道效应不显著！,正确率组间差异的事后检验,通道效应不显著！,冗余效应显著！,研究结论与局限,研究结论,性别差异,多媒体呈现方式,正确率差异不显著,通道效应不显著,冗余效应显著,多媒
10、体呈现方式在男女生对知识的正确习得上的影响不显著。,在忽略学习者民族差异的情况下，通道效应不显著（材料，文字短，民族）,尽管在忽略学习者民族差异的情况下，冗余效应仍显著。,民族差异显著,学习者的不同民族属性对其在多媒体学习环境下的学习效果影响显著。,通道选择的必要性；图示简单，文、声均可；图示复杂，口头解说；参考内容，书面文字。,事先了解学习对象民族组成；根据学习者的民族成分来设计多媒体信息的呈现方式,尽量用最少的呈现方式和媒体形式把问题说明白；图意自明，无需解释；需要解释，只选一种。,教学建议,民族差异,通道选择,控制冗余,本研究的局限性：,学习材料,被试数量,被试前检测,测试题目,研究局限
11、,被试已有经验的影响,测试题目的编写,49名被试,3分22秒的自然科学的视频材料,请老师们批评指正！,Thank You!,ERP实验流程,E-Prime实验流程,脑功能分区,自发脑电(EEG)与平均电位(ERPs/EP)的比较,被试在执行任务时,我们用内置于电极帽的电极记录EEG。EEG被放大2万倍，然后转换为数字形式为了储存在硬盘中。刺激被呈现的同时，刺激端计算机都会发送标记码到EEG的数字化端计算机，这台计算机将它们和EEG数据一起存储。,记录时，我们在数字化端计算机上观看EEG，但看不清刺激诱发的反应。因为在大得多的EEG中，由刺激诱发的ERPs/EP反应太小了。下图显示了在某个被试的
12、某个电极位置（Pz,在中线顶叶上）记录到的一段9秒钟的EEG。如果仔细观察，我们可以看到对每个刺激的反应具有某种一致性，但很难看出这些反应究竟是什么样子。,记录结束后,我们进行简单的信号平均，提取出由X和O诱发的ERPs(参阅下图)。具体来说，我们提取包含了X和O的EEG分段，并把这些EEG分段按照标记码(标记于每个刺激的起始点)对齐。然后我们将这些单试次的波形进行简单的叠加平均，从而在每个电极位置上生成对X和O的平均ERPs波形。,二、主要ERP成分及经典研究,ERP的先驱研究者经过四十多年的积累，发现了一些经典的ERP成分，在发现这些成分时所使用的一些研究方法对于后来者有启发。其中与认知加
13、工研究密切相关的成分主要包括P50、P300、MMN、和N400等。,1.听觉诱发电位P50,大脑对感觉刺激信息输入的调节能力是大脑正常功能之一,其本质是大脑的抑制功能,该功能被称为感觉门（sensory gating,SG),是反映大脑对传入无关刺激的一种正常自动调节能力。,2.事件相关电位P300,在发现P300时使用了一个称为Oddball的经典ERP实验范式。Oddball实验范式的要点是，对同一感觉通道施加两种刺激，通过微机程序给出一系列出现概率较高（80%）的非靶刺激NTS（1000Hz音频、60dB）中，再随机给出一系列出现概率较低（20%）的靶刺激TS（2000Hz音频、80d
14、B）（又称为oddball刺激或奇球刺激）。对TS、对NTS分别作按键反应的过程中，头皮表面可记录到与TS同步的认知电位反应P300。,研究发现P300的波幅与所投入的心理资源量成正相关，反映了心理负荷的量，其潜伏期随任务难度增加而变长。P300受记忆力直接影响测谎的主要指标P300潜伏期：视觉P300听觉P300体感P300,3.语言相关电位N400,N400是ERPs的晚成分之一, 它是由Kutas和Hillyard最先发现的。他们给被试视觉呈现由几个单词组成的句子, 其中75%的句子的意思是合理的, 而另外25%的句子的末尾出现了歧义, 与句子的语境不相符。结果发现这25%的句子诱发了一
15、个潜伏期范围在300到600毫秒之间的负波, 该负波的波幅在400毫秒左右达到最大值, 因此称之为N400。,N400 的特点,N400 是ERPs 的一个内源性成分, 为语言认知事件相关电位中的一个负相波, 反映了大脑皮层对语言的认知加工过程, 并且可从N400的波幅、潜伏期及头皮分布特征等多个方面来描述脑语言认知加工过程。波幅显示了脑语言认知加工的难易程度, 潜伏期反映了语言认知加工的时间进程, 头皮分布特征表明语言认知过程的脑内源。这三个指标可用来描述语言精细加工过程。N400在头部各脑区均可见到，以颞顶枕最大，Cz、 Pz点记录明显。皮质下记录提示，颞叶可能是N400的重要发生源之一。
16、,4.失匹配负波MMN,MMN的产生条件失匹配负波(MMN) 是美国人Ntnen等于1978年发现的，其早期实验与P300一样，也是采用Oddball模式，分为主动和被动两种模式。 主动模式是在重复出现的大概率信号(非靶刺激)中随机插入刺激参数不同的小概率信号(靶刺激)，令被试者辨认小概率刺激信号。被动模式是使受试者不注意所有刺激信号。以上两种模式的小概率信号均可产生MMN，而大概率信号则不能产生MMN。 MMN亦属于内源性事件相关电位，潜伏期为1OO-25Oms。,MMN的特点,MMN的出现与受试者对声音的注意与否无关，反映的是感觉系统对刺激改变的自动加工过程。已基本证明MMN的来源有两处,
17、 分别为颞叶初级听觉皮质和额叶次级听觉皮质。MMN反映的是听觉自动加工过程。,MMN的临床应用,MMN属于听觉事件相关电位，反映的是对信息的自动加工过程，MMN可以在无须注意及任务要求的前提下进行测定，所以MMN适合测试不同的临床患者及婴幼儿，它可以提供大脑对不同声刺激的反应及加工过程。MMN在神经精神疾患的临床研究中已有部分应用, 由于MMN能够在无意识或非注意状态下产生,为常规检查难以配合的患者提供了一个较好的客观测量指标, 对精神科、神经科重症病人认知障碍的诊断具有重要意义。,A. Study Phase(14 faces, SOA 3s, duration 1s),B. Test Phase (28 faces, repeated 50%, SOA 3.2s, duration 1s),理,张,理,舒,Time,Learning Stage,TestStage,Old,New,1st Present,Typical Procedures,ERP实验流程,E-Prime实验流程,
