量表的信度与效度分析计算.ppt

量表的信度与效度计算分析,一、信度（reliability）定义 若重复进行测量，产生相同结果的准确程度 测量的可靠性、稳定性和预测性 测量的精确度 反复测量结果的稳定性或一致性可能很高 但却可能是不准确的 用零点没有调整在中心的秤来测量重量 采用有明显导向性的问答题组成的量表测量态度,二、效度（validity）定义 所测量的是不是研究者所想要的 在多大程度上给出了他/她所想要的 例如，研究者希望测量电视广告的传播效果 目的：了解广告能否引起目标消费群的购买欲望 消费者的购物决策是否与观看的电视广告相关 如果：最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价 结论：所用量表是无效的或是效度很低的,信度高时效度不一定高 但效度高时信度一定高,从三个方面来分析测量的信度 稳定性 (stability) 内在一致性 (internal consistency) 等价性 (equivalency),三、信度评价,1、稳定性分析 也叫做测验--再测验法 目的： 考察对于同样的问答题（或测试） 对同一组被访者或受测试者 前后两次测量的结果是否基本一致,1、稳定性分析 方法： 用“再测信度”来测量稳定性 再测信度：两次测量结果间的相关系数 相关系数越接近 1，表示稳定性越好,1、稳定性分析 缺点： 一般应用中很难真正实现（人力、财力、时间） 再测信度的应用有局限性 第一次的测量可能会影响到第二次（信度偏高） 两次测量间客观的情况可能有变化（信度偏低）,2、内在一致性分析 目的：检验多项目量表中各个项目的一致性 可信的量表的项目必须具有内在一致性,2、内在一致性分析 方法之一：折半法 (split-half technique) 将量表中的项目分成两半 计算这两部分的总得分的相关系数rh 如果量表具有较高的内在一致性 那么这两部分应该是高度相关的,2、内在一致性分析 方法之一：折半法 (split-half technique) 优点：不需要重复的测量 常用分法：按项目号的前后顺序分 或按项目号的奇偶性分 计算公式： ru = 2rh / (1 + rh),2、内在一致性分析 方法之一：折半法 (split-half technique) 注意：需先将量表中的反意题作逆向处理 再分别计算两部分的总得分 前提假设：两半题项得分方差大致相等 否则可能会低估信度系数,2、内在一致性分析 方法之二：alpha信度系数法 克朗巴哈提出用α系数来测量累加量表的信度 α= K (1 - Σσi2/σT2)/(K-1) K 量表中题（项目）的总数 σi2 第i个题（项目）得分的题内方差 Σσi2 K个题项的方差之和 σT2 总得分（所有题项得分之和）的方差 α信度系数是评估量表内部一致性的比较常用系数,2、内在一致性分析 方法之三：平均相关系数法 缺点：偏重于项目之间的相关 而不是整个量表的信度 项目越多，平均相关系数就可能越高 提高信度的方法之一： 增加量表中的测量项目 因为各个项目的随机误差可能会相互抵消,2、内在一致性分析 小结： 信度的高低既依赖于项目的内在一致性 也依赖于量表的长度 因此： 一方面尽量设计内在相关性更高的项目 另一方面也可以考虑适当增加项目的数量,3、等价性分析 A 当使用两种不同的量表去测量同一概念时，这两种量表是否等价？ 方法：在同一时段中，让同一组被访者接受两种量表的测试；计算两组得分之间的相关，用于评价信度 B 当两个评分者（或编码员）判断同一现象时，评价结果是否一致？ 方法：计算两个评分者评分之间的相关；或计算两个编码员编码结果一致的比例，用于评价信度,3、等价性分析 前一种应用A比较少见（构造等价的量表非常困难） 后一种应用B比较常见，也称为 评分者内在信度 (inter-rater reliability) 编码员间信度 (inter-coder reliability),3、等价性分析 在内容分析中，要评价编码员间信度 编码：将分析单位（如单词、符号、主题等） 置于各种内容类别中 不同的编码者独立地编码 如果能得到比较一致的结果 则信度较高,3、等价性分析--编码者间信度的计算公式 霍斯提(Holsti)公式 假定两个编码员分别同时做了m1和m2个单位的编码，其中一致的编码数为m，则 编码者间信度 = 2m / (m1 + m2),3、等价性分析--编码者间信度的计算公式 霍斯提(Holsti)公式 优点：计算简单、易于操作 缺点：信度的大小可能与编码时所用的类别的数目有关 类别的数目越少，由于偶然性而造成一致的可能性就越大 编码问题都是两个类别时，随机的编码也可能有50%的信度 在五个类别的情况，随机的编码就只可能有20%左右的信度,3、等价性分析--编码者间信度的计算公式 史考特(Scott)指数 编码员间信度π = (πo - πe)/(1 - πe) πo：观测到的一致性或叫实际一致性（用霍斯提公式计算） πe：纯粹由于偶然性而造成的一致性或叫期望一致性 （等于每个类别出现的相对频率的平方和）,3、等价性分析--编码者间信度的计算公式 利用霍斯特公式计算时，一般信度在90%或以上 利用史考特公式计算时，信度大都是75%或以上 考察编码员内(intra-coder)信度时 让同一个编码员在不同的时间内对同一个资料编码两次 然后借助以上公式计算编码-再编码信度 将上式中对应两个编码员的数据， 改为同一编码员的两次数据,例 在一项少儿电视节目内容分析的编码表中，两个编码员分别同时独立地将100个少儿节目分配到如下三个类别中：1、单本剧 2、连续剧 3、系列剧。已知编码不一致的节目共计8个；这三个类别的节目数分别占30%、45%和25%。试分别利用霍斯提和史考特公式，评价这两个编码员编码的等价性。 解： m1= m2 =100, m = 100-8 = 92 霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 πo = 0.92, πe = (0.30)2+(0.45)2+(0.25)2=0.355 史考特信度π = (πo - πe)/(1 - πe) = (0.92-0.355)/(1-0.355) = 0.876,,效度主要有三种类型： 内容效度 (content validity) 效标效度 (criterion validity) 结构效度 (construct validity),四、效度评价,1、内容效度 也叫做表面效度(face validity) 用最简单的也是最基本的主观判断的方法 一般根据测量量表所选的题项来判断 仅从表面上来观察判断其是否能够代表想 要测量的内容或主题,1、内容效度 尽量收集和阅读与测量内容有关的资料 除了研究人员的主观判断之外 最好再请一些专家来帮助判断,1、内容效度 单项与总和相关效度分析法 确定各个具体的题项对整个量表的效度是否 都有足够的贡献 或考察量表内的题项是否具有同质性 计算每个题项的得分与总分的相关系数 如果相关不显著，表示该题项的鉴别力低，最好剔除 题项与总和的相关关系越显著，量表的内容效度也越高,1、内容效度 例如，1993年卜卫等在厦门受众调查问卷中（见“媒介·人·现代化”），设计了一个四级李克动机量表，以测试厦门受众的媒介使用动机。表中的受众媒介动机量表就是剔除了不合格题项后的量表，表中的各个题项的得分与总分都是显著相关的（概值P≤0.001），说明量表内的各个题项之间具有较好的同质性。,2、效标效度 也叫做效标关联效度或独立标准效度 效标是一个与量表有密切关联的独立标准 将量表所测特性看成因变量 将效标看成自变量 所测特性与效标密切相关的量表 才是有效的量表,2、效标效度的分析方法 考察所测特性（因变量）与效标（自变量） 是否有显著的相关 (相关分析) 或是对效标的不同取值，特性的值是否表 现出显著的差异 (t检验、F检验） 效标的确定并不是一件容易的事 选择效标一般要根据某种已知的理论、或 某种已经得到肯定的结论,2、效标效度的举例 用高考的成绩，作为预测学生大学期间学业成绩的效标 （是否有研究结果表明，这两者之间是有密切相关关系的） 设计测量人们现代化观念的量表时，媒介接触行为可 能是主要的效标之一 （很难设想不看报、不听广播的人会具有现代化的观念） 可考虑以媒介接触频度、时间、内容等为具体的效标,2、效标效度的举例 台湾的“兰屿民众传播行为与现代化程度之研究”, 用离岛经验作为测量雅美族人现代化程度的效标 有、无离岛经验的雅美族人之间 现代化程度有明显差异的量表 才有可能是高效度的量表 要剔除那些没有显著差异的低效度的题项,3、结构效度 评价量表测量的结果是否与理论假设或框架相关 称能测出结构的量表为具有高的结构效度的量表 因子分析法 (factor analysis) 评价量表中的各个题项能否有效地区分研究对象 各题项能否有效地鉴别态度不同的被访者？ 题项内容的难易度是否合适？ 项目分析法 (item analysis),3、结构效度---因子分析法 因子分析法是一种高级的统计分析法 将量表中的题项集合成不同的群 使每一个群的变量（题项）共享一个公共因子 这些公共因子就代表了量表的基本结构 考察这些公共因子的意义 比较量表的实际结构与理论框架之间的异同 若两者相吻合，且提取的公共因子有足够的代表性 则说明该测量量表具有令人满意的结构效度,3、结构效度---因子分析法举例 对测量动机的量表进行了因子分析 （参考“媒介●人●现代化”） 结果将受众使用媒介动机分成了三类 信息寻求动机、娱乐消遣动机、社会功利动机 与研究者设计量表时假设的结构一致 说明这一动机量表具有很好的结构效度,3、结构效度---项目分析法 （难易度） 量表中各个题项的“难易度”和“鉴别度” 难易度=(PH+PL)/2 PH和PL分别表示高分组和低分组的通过率,3、结构效度---项目分析法 （难易度） 通过率的计算方法： 将反向题作逆向处理后，计算累加量表的总分 总分按由小到大的顺序排列，划分成人数相等的四个组 分数最高和最低的两个组分别为“高分组”和“低分组” 计算这两组的被访者在每个题项上的“通过率” PH和PL 正向题的通过率=（“非常同意”+“比较同意”）的比例 逆向题的通过率=（“很不同意”+“不太同意”）的比例,3、结构效度---项目分析法 （难易度） 通过率的意义 对于正向题，表示持肯定、积极态度的比例 对于反向题，表示持否定、消极态度的比例 某题项的难易度=高分组和低分组通过率的均值 难易度越大，表示该题项越“容易通过” 态度量表取难易度适中(0.5左右)的情况较多,3、结构效度---项目分析法 （鉴别度） 量表中各个题项对所测特性的区分能力 鉴别度= PH-PL,3、结构效度---项目分析法 （鉴别度） 鉴别度的意义 某题项的鉴别度越大 “高分组”和“低分组”对某个题项反应的差异越大 持肯定、积极（否定、消极）态度的比例之差越大 量表中各个题项的鉴别度高一些为好 考试题最好能将成绩好的和差的学生区分出来 使成绩好的学生大多数都能通过 而成绩差的学生却很少能通过,结束！,