系统评价理论与方法.ppt

1、系统评价,第五章 系统评价方法,卢亚丽,系统评价是系统分析过程中的一个重要环节，是系统分析和决策活动的结合点，系统评价提供的结论是决策者进行决策的基础和依据，系统评价在系统应用研究中占有重要地位。所谓系统评价可以理解为：根据明确的系统目标、结构和系统属性，用有效的标准测出系统的性质和状态的活动。系统评价的目的是为了描述系统状态和方案效果。有效的系统评价为决策者做出正确的决策提供科学的依据。,任何评价都有其评价的目标和内容，这些目标和内容的提出、问题的确定又都取决于总的评价思想，评价思想的转变必然导致评价内容和方法的不同，而环境的演变、社会和科学的发展又对评价思想的确立起着巨大的推动或制约作用。

2、追求单一目标的思想 如武器系统早期的评价，关键是要求可靠性经济利益思想 在工程项目的决策中起重要作用系统评价的思想 从政治、经济、社会、技术、自然和生态 环境规划的思想 对工程建设等决策活动的事先评价越来越多 总的来说，系统评价的思想是利用控制论和系统的观点对整体进行评价。,一、系统评价要素二、系统评价的程序与方法三、 综合评价指标与权重的确定四、系统评价的主要方法,第一节 系统评价原理,一、系统评价要素系统评价（评价价值） 对系统方案满足系统目标程度的综合分析及判定。 评价对象（What）指接受评价的事物、行为或对象系统，如待开发的产品、待建设或建设中的项目等。 评价主体（Who）是指评价对

3、象系统价值大小的个体或集体。 效用：某主体对某种利益和损失所独有的 感觉及反应。,评价目的（Why） 评价时期（When） 期初评价、期中评价、期末评价、跟踪评价 评价地点（Where） 评价方法（How） 系统评价是多方面要素（5W1H）所构成的问题复合体。,二、程序和方法,三、 综合评价指标及权重的确定,研制新生儿缺氧状况的Apgar评分方法,研究目的,据专业知识，选择5个指标 心率 呼吸肌张力 反射 皮肤颜色,5个指标具有相等权重,选择指标,确定权重,以累加法累计总分：810分为正常；47分为轻度缺氧；03分为重度缺氧。,确定指标评价等级及界限,建立模型,1、 评价指标的基本要求,基本要

4、求, 代表性：各层次指标能最好地表达所代表的层次。, 确定性：指指标值确定，其高低在评价中有确切含义。, 区别能力/ 灵敏性：即指标值有一定的波动范围，而且其高低在评价中有确切的含义。, 独立性：即选入的指标各有所用，相互不能替代。,选择综合评价指标,(一)评价指标的确定,2 、系统分析法及文献资料分析优选法筛选指标,缺乏有关历史资料，或指标难以数量化时,系统分析法(systematic analysis method)：是一种常用的凭经验挑选指标的方法，首先将所有备选指标按系统（或属性、类别）划分，再通过座谈或填调查表的方法获得对各指标的专家评分，确定主次，再从各系统内挑选主要的指标作为评价

5、指标。,文献资料分析优选法：即全面查阅有关评价指标设置的文献资料，分析各指标的优缺点并加以取舍。,3、 常用客观筛选指标方法,逐个指标进行假设检验的方法：是在掌握有关历史资料基础上，依照可能的评价结果将评价对象分组，并对各指标进行假设检验，挑选有统计意义的指标作为评价指标。多元回归与逐步回归法：多元回归分析挑选标准化偏回归系数绝对值较大或偏回归系数假设检验有显著性的指标作为评价指标；逐步回归有自动挑选主要影响指标的功能，是目前最常用的指标挑选方法。指标聚类法：在存在众多指标的情况下，可将相似指标聚成类，再从每类中找一个典型指标作为代表，从而用少量几个典型指标作为评价指标来代表原来众多的指标建立

6、评价模型。,4、 指标筛选建议,在实际工作中，往往综合使用多种方法进行指标筛选，在获得较为满意的专业解释的基础上，优先考虑那些被多种方法同时选入的指标。,(二) 评价指标的权重的确定,确定指标权重方法,主观定权法,客观定权法,专家评分法,成对比较法,Saaty权重法,秩和比法,相关系数法,其它方法,模糊定权法,熵权法,定权带有一定的主观性，用不同方法确定的权重分配，可能不尽一致，这将导致权重分配的不确定性，最终可能导致评价结果的不确定性。因而在实际工作中，不论用哪种方法确定权重分配，都应当依赖于较为合理的专业解释。,1、专家评分法评分方式,1）专家个人判断 即分别征求专家个人意见，在专家各自单

7、独给评价指标的相对重要性打分的基础上，进行统计处理，以确定各指标的权重。 优点：专家打分时不受外界影响，没有心理压力，可以最大限度地发挥个人创造能力。 缺点：仅凭个人判断，易受专家知识深度与广度的影响，难免带有片面性。 2）专家会议 即召开所有被挑选专家，以集体讨论的方式进行评分，然后再以统计手段确定各指标的权重。 优点：可以交换意见，相互启发，弥补个人之不足。 缺点：主要表现在易受心理因素的影响，如屈从于权威和大多数人的意见，受劝说性意见的影响，不愿公开修正已发表的意见等等。,不考虑专家权威程度：权重分别是0.41,0.31,0.18,0.10,2、常用的客观定权方法,某些统计方法分析结果，

8、可提供有关因素权重分配的客观信息:多元回归分析及逐步回归分析中，各自变量的标准化偏回归系数值以及由此而推算的贡献率；计数资料判别分析中的指数，计量资料判别分析中各因子的贡献率；主成分分析中得到的因子载荷和贡献率。某些特定的统计方法 例如某死因后期望寿命的增量、减寿年数(Potential Years of Life Lost,PYLL)都可为各死因的相对重要性提供有关权重分配的信息献率。,3、 组合权重及其计算方法,组合权重(combined weight) 当评价指标可分层时，即某项或某几项评价指标可再分为次级评价指标时，则次级评价指标的权重既应考虑其本身在所有次级评价指标中的权重分配，又要

9、考虑其高层评价指标在所有评价指标中的权重分配。组合权重有两种求法：代数和法 乘积法,组合权重计算表,4、 权重估计注意事项,权重估计仍不是很完美，权重估计结果应满足专业解释；尽量在专业领域中寻找专业评分方法；尽量排除试验者和受试者的主观性，尽量选用客观方法；采用多种方法进行权重，在获得较为满意的专业解释的基础上，优先考虑多个方法同时选入的指标。,(一)关联矩阵(原理性方法)(二)逐对比较(三)古林法(四)层次分析法(五)模糊综合评价法,四、主要的系统评价方法,第二节 关联矩阵法,关联矩阵法主要是用矩阵的形式来表示各替代方案有关评价指标及其重要度与方案关于具体指标的价值评定量之间的关系。,Vi1

10、, Vi2, Vi3, Vin,是第i个替代方案Ai的关于指标Xj的价值评定量。,Vij = ?,方案预期结果例表,逐对比较法例表,一、逐对比较法,评价尺度例表,关联矩阵表（逐对比较法）,二、古林法 1、确定指标的权重,3,0.5,4,3,古林法 2、求Vij例表,投资费用希望越小越好，故其比例取倒数。,一、层次分析法概述二、层次分析法的基本原理三、层次分析法的步骤和方法四、层次分析法的广泛应用五、应用层次分析法的注意事项,第三节 层次分析法,一、层次分析法概述,人们在对社会、经济以及管理领域的问题进行系统分析时，面临的经常是一个由相互关联、相互制约的众多因素构成的复杂系统。层次分析法则为研究

11、这类复杂的系统，提供了一种新的、简洁的、实用的决策方法。层次分析法(AHP法) 是一种解决多目标的复杂问题的定性与定量相结合的决策分析方法。该方法将定量分析与定性分析结合起来，用决策者的经验判断各衡量目标能否实现的标准之间的相对重要程度，并合理地给出每个决策方案的每个标准的权数，利用权数求出各方案的优劣次序，比较有效地应用于那些难以用定量方法解决的课题。,层次分析法（AHP）是美国运筹学家匹茨堡大学教授萨蒂(T.L.Saaty)于上世纪70年代初，为美国国防部研究“根据各个工业部门对国家福利的贡献大小而进行电力分配”课题时，应用网络系统理论和多目标综合评价方法，提出的一种层次权重决策分析方法。

12、 这种方法的特点是在对复杂的决策问题的本质、影响因素及其内在关系等进行深入分析的基础上，利用较少的定量信息使决策的思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法。 是对难于完全定量的复杂系统作出决策的模型和方法。,层次分析法是社会、经济系统决策中的有效工具。其特征是合理地将定性与定量的决策结合起来，按照思维、心理的规律把决策过程层次化、数量化。是系统科学中常用的一种系统分析方法。该方法自1982年被介绍到我国以来，以其定性与定量相结合地处理各种决策因素的特点，以及其系统灵活简洁的优点，迅速地在我国社会经济各个领域内，如工程计划、资源分配、方案排序、政策制定、冲

13、突问题、性能评价、能源系统分析、城市规划、经济管理、科研评价等，得到了广泛的重视和应用。,二、层次分析法的基本原理,层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成因素，并按照因素间的相互关联影响以及隶属关系将因素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问题归结为最低层(供决策的方案、措施等)相对于最高层(总目标)的相对重要权值的确定或相对优劣次序的排定。,三、层次分析法的步骤和方法,运用层次分析法构造系统模型时，大体可以分为以下四个步骤： 1. 建立层次结构模型 2. 构造判断(成对比较)矩阵 3. 层次单排序及其一致性检验 4. 层次总排序及其一致性检验

14、,1. 建立层次结构模型,将决策的目标、考虑的因素（决策准则）和决策对象按它们之间的相互关系分为最高层、中间层和最低层，绘出层次结构图。 最高层：决策的目的、要解决的问题。 最低层：决策时的备选方案。 中间层：考虑的因素、决策的准则。 对于相邻的两层，称高层为目标层，低层为因素层。 下面举例说明。,例1 大学毕业生就业选择问题 获得大学毕业学位的毕业生，在“双向选择”时，用人单位与毕业生都有各自的选择标准和要求。就毕业生来说选择单位的标准和要求是多方面的，例如： 能发挥自己才干作出较好贡献（即工作岗位适合发挥自己的专长）； 工作收入较好（待遇好）； 生活环境好（大城市、气候等工作条件等）； 单

15、位名声好（声誉等）； 工作环境好（人际关系和谐等） 发展晋升机会多（如新单位或前景好）等。,工作选择,可供选择的单位P1 P2 ， Pn,目标层,准则层,方案层,目标层,O(选择旅游地),准则层,方案层,例2. 选择旅游地,如何在3个目的地中按照景色、费用、居住条件等因素选择.,将决策问题分为3个或多个层次：最高层：目标层。表示解决问题的目的，即层次分析要达到的总目标。通常只有一个总目标。中间层：准则层、指标层、。表示采取某种措施、政策、方案等实现预定总目标所涉及的中间环节；一般又分为准则层、指标层、策略层、约束层等。最低层：方案层。表示将选用的解决问题的各种措施、政策、方案等。通常有几个方案

16、可选。 每层有若干元素，层间元素的关系用相连直线表示。,层次分析法的思维过程的归纳,层次分析法所要解决的问题是关于最低层对最高层的相对权重问题，按此相对权重可以对最低层中的各种方案、措施进行排序，从而在不同的方案中作出选择或形成选择方案的原则。,2. 构造判断(成对比较)矩阵,在确定各层次各因素之间的权重时，如果只是定性的结果，则常常不容易被别人接受，因而Santy等人提出：一致矩阵法，即：1. 不把所有因素放在一起比较，而是两两相互比较2. 对此时采用相对尺度，以尽可能减少性质不同的诸因 素相互比较的困难，以提高准确度。,心理学家认为成对比较的因素不宜超过9个，即每层不要超过9个因素。,判断

17、矩阵是表示本层所有因素针对上一层某一个因素的相对重要性的比较。判断矩阵的元素aij用Santy的19标度方法给出。,判断矩阵元素aij的标度方法,设要比较各准则C1,C2, , Cn对目标O的重要性,A成对比较阵,A是正互反阵,要由A确定C1, , Cn对O的权向量,选择旅游地,稍加分析就发现上述成对比较矩阵有问题,成对比较的不一致情况,允许不一致，但要确定不一致的允许范围,考察完全一致的情况,可作为一个排序向量,成对比较,A的秩为1，A的唯一非零特征根为n,非零特征根n所对应的特征向量归一化后可作为权向量,对于不一致(但在允许范围内)的成对比较阵A， Saaty等人建议用对应于最大特征根的特

18、征向量作为权向量w ，即,一致阵性质,但允许范围是多大？如何界定？,3. 层次单排序及其一致性检验,对应于判断矩阵最大特征根max的特征向量，经归一化(使向量中各元素之和等于1)后记为W。 W的元素为同一层次因素对于上一层次因素某因素相对重要性的排序权值，这一过程称为层次单排序。 能否确认层次单排序，需要进行一致性检验，所谓一致性检验是指对A确定不一致的允许范围。,定理：n 阶一致阵的唯一非零特征根为n,定理：n 阶正互反阵A的最大特征根 n, 当且仅当 =n时A为一致阵,由于 连续的依赖于aij ，则 比n 大的越多，A 的不一致性越严重。用最大特征值对应的特征向量作为被比较因素对上层某因素

19、影响程度的权向量，其不一致程度越大，引起的判断误差越大。因而可以用 -n 数值的大小来衡量 A 的不一致程度。,定义一致性指标:,CI=0，有完全的一致性CI接近于0，有满意的一致性CI 越大，不一致越严重,为衡量CI 的大小，引入随机一致性指标 RI。方法为,Saaty的结果如下随机一致性指标 RI,则可得一致性指标,随机构造500个成对比较矩阵,一致性检验：利用一致性指标和一致性比率0.1及随机一致性指标的数值表，对 进行检验的过程。,一般，当一致性比率,的不一致程度在容许范围之内，有满意的一致性，通过一致性检验。可用其归一化特征向量作为权向量，否则要重新构造成对比较矩阵A，对 aij 加

20、以调整。,时，认为,定义一致性比率 ：,“选择旅游地”中准则层对目标的权向量及一致性检验,准则层对目标的成对比较阵,最大特征根=5.073,权向量(特征向量)w =(0.263,0.475,0.055,0.090,0.110)T,一致性指标,随机一致性指标 RI=1.12 (查表),一致性比率CR=0.018/1.12=0.0160.1,通过一致性检验,正互反阵最大特征根和特征向量的简化计算,精确计算的复杂和不必要,简化计算的思路一致阵的任一列向量都是特征向量，一致性尚好的正互反阵的列向量都应近似特征向量，可取其某种意义下的平均。,和法取列向量的算术平均,精确结果:w=(0.588,0.322

21、,0.090)T, =3.010,4. 层次总排序及其一致性检验,计算某一层次所有因素对于最高层(总目标)相对重要性的权值，称为层次总排序。这一过程是从最高层次到最低层次依次进行的。,对总目标Z的排序为,的层次单排序为,即 B 层第 i 个因素对总目标的权值为：,层的层次总排序为：,A,B,层次总排序的一致性检验,设 层 对上层( 层)中因素 的层次单排序一致性指标为 ，随机一致性指为 ，则层次总排序的一致性比率为：,当 时，认为层次总排序通过一致性检验。层次总排序具有满意的一致性，否则需要重新调整那些一致性比率高的判断矩阵的元素取值。 到此，根据最下层（决策层）的层次总排序做出最后决策。,记

22、第2层（准则）对第1层（目标）的权向量为,同样求第3层(方案)对第2层每一元素(准则)的权向量,方案层对C1(景色)的成对比较阵,方案层对C2(费用)的成对比较阵,最大特征根 1 =3.005 2 =3.002 5 =3.0,权向量 w1(3) w2(3) w5(3) =(0.595，0.277，0.129) =(0.082，0.236，0.682) =(0.166，0.166，0.668),选择旅游地,第3层对第2层的计算结果,w(2),0.263,0.595,0.277,0.129,3.005,0.003,0.001,0,0.005,0,3.002,0.682,0.236,0.082,0.

23、475,3,0.142,0.429,0.429,0.055,3.009,0.175,0.193,0.633,0.090,3,0.668,0.166,0.166,0.110,组合权向量,RI=0.58 (n=3), CIk 均可通过一致性检验,方案P1对目标的组合权重为0.5950.263+ =0.300,方案层对目标的组合权向量为 (0.300, 0.246, 0.456)T,1.建立层次结构模型 该结构图包括目标层，准则层，方案层。,层次分析法的基本步骤归纳如下,3.计算单排序权向量并做一致性检验,2.构造成对比较矩阵,从第二层开始用成对比较矩阵和19尺度。,对每个成对比较矩阵计算最大特征值

24、及其对应的特征向量，利用一致性指标、随机一致性指标和一致性比率做一致性检验。若检验通过，特征向量（归一化后）即为权向量；若不通过，需要重新构造成对比较矩阵。,计算最下层对最上层总排序的权向量。,4.计算总排序权向量并做一致性检验,进行检验。若通过，则可按照总排序权向量表示的结果进行决策，否则需要重新考虑模型或重新构造那些一致性比率 较大的成对比较矩阵。,利用总排序一致性比率,四. 层次分析法的广泛应用,应用领域：经济计划和管理，能源政策和分配，人才选拔和评价，生产决策，交通运输，科研选题，产业结构，教育，医疗，环境，军事等。,处理问题类型：决策、评价、分析、预测等。,建立层次分析结构模型是关键

25、一步，要有主要决策层参与。,构造成对比较阵是数量依据，应由经验丰富、判断力强的专家给出。,例1 国家实力分析,例2 工作选择,例3 横渡江河、海峡方案的抉择,例3 横渡江河、海峡方案的抉择,例4 科技成果的综合评价,层次分析法的优点,系统性将对象视作系统，按照分解、比较、判断、综合的思维方式进行决策。成为成为继机理分析、统计分析之后发展起来的系统分析的重要工具；,实用性定性与定量相结合，能处理许多用传统的最优化技术无法着手的实际问题，应用范围很广，同时，这种方法使得决策者与决策分析者能够相互沟通，决策者甚至可以直接应用它，这就增加了决策的有效性；,简洁性计算简便，结果明确，具有中等文化程度的人

26、即可以了解层次分析法的基本原理并掌握该法的基本步骤，容易被决策者了解和掌握。便于决策者直接了解和掌握。,五、应用层次分析法的注意事项,层次分析法的局限,囿旧只能从原有的方案中优选一个出来，没有办法得出更好的新方案；,粗略该法中的比较、判断以及结果的计算过程都是粗糙的，不适用于精度较高的问题。；,主观从建立层次结构模型到给出成对比较矩阵，人主观因素对整个过程的影响很大，这就使得结果难以让所有的决策者接受。当然采取专家群体判断的办法是克服这个缺点的一种途径。,第四节 模糊评价法,模糊综合评价法是应用模糊集合理论对系统进行综合评价的一种方法，评价结果是获得各种替代方案优先顺序的有关信息。这种方法应用

27、的对象可以是方案、产品或是各类人员，应用面非常广泛,下面以电脑评判为例来说明如何评价。某同学想购买一台电脑，他关心电脑的以下5个方面的指标：“运算功能（数值、图形等）”；“存储容量（内、外存）”；“运行速度（CPU、主板等）”；“外设配置（网卡、调制调解器、多媒体部件等）”；价格”。于是请同宿舍同学一起去买电脑。为了数学处理简单，先令,=“运算功能（数值、图形等）”；,=“存储容量（内、外存）”；,=“运行速度（CPU、主板等）”；,=“外设配置（网卡、调制调解器、多媒体部件等）”；,=“价格”。,称,因素集。,评语集,其中,=“很受欢迎”；,=“较受欢迎”；,=“不太受欢迎”；,=“不受欢迎

28、”；,任选几台电脑，请同学和购买者对各因素进行评价。,若对于运算功能 有20%的人认为是“很受欢迎”，50%的人认为“较受欢迎”，30%的人认为“不太受欢迎” ，没有人认为“不受欢迎”，则 的单因素评价向量为,同理，对存储容量 ，运行速度 ，外设配置 和价格,分别作出单因素评价，得,组合成评判矩阵,据调查，近来用户对微机的要求是：工作速度快，外设配置较齐全，价格便宜，而对运算和存储量则要求不高。于是得各因素的权重分配向量：,作模糊变换：,存储容量,运行速度,外设配置,价格,运算功能,若进一步将结果归一化得：,结果表明，用户对这种微机表现为“最受欢迎”的程度为0.32，“较受欢迎”和“不太受欢迎

29、”的程度为0.27，“不受欢迎”的程度为0.14。按最大隶属原则，结论是：“很受欢迎”。,模糊评价法的步骤（一级）,1、组成一个专家评价小组2、确定系统评价项目集F=(f1,f2,fn)并为每一评价项目的评价确定一个评价尺度集E=(e1,e2,em) 3、确定评价项目的权重W=(w1,w2,wn) 4、依据评价尺度对各评价项目进行评定,即确定对Ak方案来讲其第fi个评价项目作出第ej评价尺度的可能性大小rijk ，即隶属度大小。最后可得隶属度矩阵Rk =(rijk ) 5、计算替代方案Ak的综合评定向量Sk=WRk 6、计算替代方案Ak的优先度Nk=SkET,例1：某种新产品有三种不同的设计方

30、案,根据“质量” 、“成本” 、“实用性”三个目标对这三个方案进行优、良、中、劣评价。,根据最大隶属度原则4 得综合评价结果：,评价对象：,评价目标：,评价等级：,建立隶属函数1：,统计得隶属度矩阵2：,评价目标权重3：,求模糊合成运算(M（,) ) ：,V=方案，方案，方案,X=质量，成本，实用性,=优，良，中，劣,例2：对三种品牌的西服进行评价。,根据最大隶属度原则4 得综合评价结果：,评价对象：,评价目标：,评价等级：,建立隶属函数1：,统计得隶属度矩阵2：,评价目标权重3：,求模糊合成运算 ：,V=杉杉，雅戈尔，培罗蒙,X=款式，料质，做工，价格,=很好，好，一般，较差 =(1.0,0

31、.7,0.4,0.1),选定10位专家,经讨论确定其权重为：,隶属度矩阵为：,杉杉衬衣的综合评定向量为：,作业,一位同学准备购买一部手机，他考虑的因素有质量，颜色，价格，外形，实用，品牌等因素，比较中意的手机有？，？，？，但不知选择哪一款为好，请你建立数学模型给他一个好的建议。对计算机编程能力较好的同学，可否编写一个AHP法的计算程序，VB，VC均可。其他同学考虑用Excel如何计算AHP法。（主要是特征值，特征向量的计算）通过网络资源，查找关于层次分析法应用的论文（2篇以上），并指出其应用的方面，所考虑的目标，准则和方案。,评价的发展趋势 评价理论和方法的创新 注意与新技术的结合 建立世界性的评价组织 总之，评价作为一门与各学科相互促进、共同发展的学科已经得到了很大发展，在新的世纪也必将对人类的活动起着越来越重要的作用。但是，评价也面临很多困难和问题，这些都值得人们去思考，任何学科都是在不段的质疑中得到发展。需要我们继续做出不懈的努力！,thank you！,