1、1管理胜任力面试测评有效性的实证研究摘要管理胜任力面试测评的有效性,取决于被试待测胜任力相关的管理工作的岗位特征、面试测评的结构化程度与问题组织形式及评委的测评能力三者的有效匹配与组合。采用半结构化面试与行为试题结合的方式,通过由研究人员、用人单位高层管理人员及用人单位人事主管组成的面试小组对待聘高层及中高层管理人员的胜任力进行测评,从会聚效度与区分效度、预测效度两个方面对提高管理胜任力面试测评有效性的方法进行了实证研究,研究表明,测评的会聚效度与区分效度分别为 0.647 及 0.431。以测评结果与最后综合评定结果之间的符合程度表示的预测效度总体为 94%:以被试录用 2 年内是否得到晋升
2、或其直接上司对其工作绩效的评定为效标时,预测总体较为有效且对中高层管理岗位胜任力测评的预测效度要好于高层管理岗位。 关键词管理胜任力;面试测评;会聚效度;区分效度;预测效度 管理胜任力是在一定工作或情景中与有效或优秀的工作绩效参照标准有因果关系的个体的潜在特征(Spencer&Spencer,1993) ,它与管理人员未来的工作绩效高度相关。对管理胜任力的测评,面试方法目前被普遍采用。但其有效性,一直存有争议。虽然早期的观点认为面试的有效性较低,但研究表明,管理胜任力面试测评过程中管理工作的岗位特征、面试评委的测评能力、管理胜任力面试测评的结构化程度及问题组织形式三者的合理匹配与组合,可以有效
3、地提高管理胜任力面试测评的2有效性。本文对此结论的有效性进行了实证研究。这对科学地选拔与激励管理人员,提升组织的经营管理绩效,具有理论与实践意义。 一、理论框架 管理胜任力面试测评过程是一种基于评委主观判断的过程。在这一过程中,通过评委对被试的刺激(提问)及被试对刺激的反应(回答)的交互,评委在有限的面试时间内感知与获取与被试待测胜任特征相关的信息,进而据此信息对被试的管理胜任力的强弱进行判定。如果这一过程中评委能从被试的行为反应中获得反映其能力状况的充足信息,并采用符合逻辑的方式进行推断,那么此时往往能够对被试的管理胜任力进行相对精确与有效的判断。但事实上,评委的这一主观判断过程会受到被试相
4、关信息表现的真实程度、不同测评方式下信息的捕获及评委自身测评能力的影响。被试的印象管理及作伪行为、测评的结构化程度及问题组织形式的选择、评委的测评能力对管理胜任力面试测评的有效性会产生较大的影响。 1.被试的印象管理与面试作伪行为 印象管理(Impression Management)是在社会人际交往活动中普遍存在的一种试图控制他人所获得信息、影响他人对自己产生某种印象的行为活动(Rosenfeld,Giacalone&Riordan,1995) 。有关印象管理的研究表明,结构化面试测评由于占用了被试较多的认知资源,这会使得他们在面试过程中难以集中注意力去选用印象管理策略,也难以确定印象管理策
5、略是否发挥了作用,更难调整有效的策略去弥补期望形象与反馈信息之间的差距,从而抑制了被试印象管理策略的有效发挥3(Bozeman&Kacmar,1997) 。由于结构化面试相比非结构化面试而言,提供给被试控制面试过程的时间非常有限,从而在一定程度上会抑制被试印象管理方法与策略的使用对管理胜任力面试测评有效性的影响。 面试作伪行为是指被试为了给评委留下好的面试印象,获得较高面试得分,而对评委所提的面试问题进行的蓄意歪曲反应,是一种虚假表现的、不诚实的印象管理行为(Levashina,Julia&Campion,et al.,2007) 。由于非结构化面试过程中通常对面试中的相关话题缺乏严格的控制,
6、而且对被试的回答也没有严格的评判标准,需要评委耗费大量的认知资源进行主观的判断。再加上由于非结构化面试强调评委与被试的互动关系,这会使得被试相对比较容易通过把话题转移到自己擅长领域的方式,从而向评委展现出自己优势方面,规避自己的不足。这就容易形成评委在面试过程中难以发现被试的作伪行为,从而给被试提供了作伪的机会与空间。因此管理胜任力面试测评中,在其他条件许可的情况下,可优先考虑采用结构化的面试方法。另外,就防范面试过程中的作伪行为来说,通常行为描述方式要优于情景方式。因为被试过去的行为相对更为客观与外显,也更加容易考证,也就难于作伪。而情景面试则是在一个设定的情境下,对被试的行为意图的推测,相
7、对更为主观,难以考证,也较容易作伪。 2.面试评委的测评能力 面试过程表现为评委对被试信息收集与判断过程。通常来说,面试评委要想对被试的管理胜任力进行相对准确的判断,要求其能够获得足够的通过被试行为所反映出的相关信息,在被试行为反映不充分的情况4下还要依赖自身的形象思维能力,根据所得到的信息对被试的行为进行合乎逻辑的推断与判定。因此,由信息捕捉能力、逻辑思维判断能力及形象思维判断能力所组成的面试评委的测评能力的高低强弱,对面试的有效性有较大的影响。 实践中面试评委按上述测评能力的要求大致可分为三类:一类是纯技术型,由专业性人力资源测评人员组成,掌握完善的测评技巧,但管理知识与经验缺乏,逻辑思维
8、判断能力与形象思维判断能力较弱,适宜从事结构化程度较高的面试;另一类是纯经验型,由具有大量管理实践经验的人员组成,虽然测评技巧缺乏,但有丰富的用人识人经验,逻辑思维判断能力与形象思维判断能力较强,适宜从事非结构程度较高的面试;第三类是混合型,通常由掌握丰富的理论知识并和管理实践有着长期的密切接触的研究人员或是由前两类人员组成的测评小组构成,他们具有较强的信息捕捉能力、逻辑思维判断能力与形象思维判断能力,适宜从事各种模式的面试测评。 3.管理胜任力面试测评的结构化程度及问题组织形式 面试的结构化程度是影响面试有效性的重要因素之一。结构化面试由于降低了被试问的程序差异和减少评委在面试过程中的随意性
9、,通常被认为比非结构化面试具有更高的信度和效度(Huffcurt&Arthur,1994) 。如 Schmidt&Hunter(1998)的元分析结果发现结构化面试效度系数达到 0.51 的水平,而非结构面试的效度系数只有 0.38。然而,结构化面试中评委过多地根据标准或内容,而不是测评被试的行为特征来评分,评委过多地侧重被挑出的对象,而不是表现好5的对象,这会降低评委和被试之间人际关系的重要性(Goodale,1989) 。面试是一种双方共同参与和感知的社会性行为,非结构化面试强调面试的岗位针对性、评委与被试的主观能动性以及随机应变性,从测评效果上讲,其优点可以弥补结构化面试的缺陷与不足。
10、管理工作的岗位性质决定了胜任特征的要求,进而决定了面试结构化程度的选择。基层管理岗位以操作与执行为主,对被试管理胜任力的要求主要体现在技能层面,是具体与确定的。对这类岗位所要求的管理胜任力的面试测评,结构化面试往往具有较高的有效性。中层管理岗位主要职能是执行上级布置的工作任务或具体落实执行上级的决策决定。任务虽然比较具体,但在任务完成的过程中,常常需要根据具体情况分析解决一些工作问题或人际问题,因而又表现出一定程度的不确定性。这类岗位所要求的胜任力用半结构化的面试测评往往较为有效。高层管理岗位的职能主要表现为决策与领导,常常需要根据组织内外环境的变化,审时度势,相宜决策,工作具有很大的不确定性
11、。对这类管理胜任力的测评,应充分发挥评委的用人识人能力,采用非结构化的方式。 面试的行为方法与情景方法是面试中常用的两类问题组织形式。它们对管理胜任力面试测评有效性的影响,是与管理工作的岗位层次和职位特征密不可分的。研究表明,行为面试较适合有经验的被试和高级别的岗位,而对于那些缺乏工作经验和比较简单的职位来说,情景面试相对更有为效(Huffcutt,Weekley&Wiesner,et al.,2001) 。 4.提高管理胜任力面试测评有效性的方法 与被试待测胜任力相关的管理工作的岗位特征决定了面试的结构化6程度及问题组织形式的选择,而既定的面试结构化程度及问题组织形式,又要求有与之相适宜与匹
12、配的主式的测评能力,这也决定了对被试印象管理及作伪行为的抑制效果。管理胜任力面试测评的有效性,最终取决于与被试待测胜任力相关的管理工作的岗位特征、面试测评的结构化程度与问题组织形式及评委的测评能力三者的有效匹配与组合。一般说来,非结构的测评方法与行为面试的组织形式适宜测评高层次的管理岗位,此时宜用纯经验型的评委;结构化的测评方法与情境面试的组织形式适宜测评低层次的管理岗位,此时用纯技术型的评委较为适宜。 二、研究方法 1.样本 本次研究的样本来自于从 2003 年起,历年来受用人单位委托由我们组织实施的组织高层及中高层管理人员胜任力面试选拔测评并被录用的被试。需要说明的是,有一部分被试在录用
13、2 年后,我们没能获取跟踪研究的效标数据;还有一部分被试在录用后由于种种原因,没满 2 年就已离职。在我们排除掉这两部分被试后,最终本次研究共获得了 51 名被试的相关研究数据。样本的具体情况见表 1。 2.效标 效度是根据所测量到的信息做出的对测验有效性的推理,而推理所依照的外部标准则是效标。以前的一些研究所得出的同一个测验的效度在不同应用情境下有较大差异的现象,不应仅被认为是测量误差的原因。效度的推理既要依据测评的得分,还要参考测评中所使用的效标特征。因此,效标的合理选择,对面试测评有效性的判断就有较大的影响。 7目前,理论研究与实际应用中大多用管理人员的工作绩效作为胜任力测评有效性评估的
14、效标。而对管理人员的绩效评估,又受到管理工作的显现度、工作结果的反馈时间及工作的可分割性等相关因素的影响。管理人员的工作业绩常常受制于其合作的工作团队、整个组织系统乃至外部环境的状况,且绝大多数的管理岗位职能具有非独立性,获得独立的、与其管理胜任力直接相关的真实绩效信息往往比较困难,并且需要一定的显现时间。基于上述考量,本研究对样本效标数据的收集包括两类。一类是被试在录用后 2 年内的晋升情况及直接上司对其总体工作绩效的评估数据;另一类考虑到用人单位对中高层及高层管理人员的选拔,除了进行胜任力面试测评以外,先期还进行了有关被试从业经验及背景资料的调查,这些信息将和面试测评结果一起按一定的权重综
15、合考虑,作为被试最终是否被录用的依据。因此,本研究中,我们通过两类效标数据对管理胜任力面试测评的有效性进行研究。 3.测评要素 本研究中管理胜任力面试测评的要素是基于管理工作的岗位层次差异对管理胜任力的要求、管理者的角色差异对管理胜任力要求及影响管理胜任力的其他一些相关因素,并在管理胜任力研究现有的文献回顾的基础上,结合对一些有着多年丰富管理经验的管理人员及资深研究人员的深入访谈,最终整理确定了决策能力、领导能力、人际沟通能力、自我认知、开拓创新、成就动机、学习能力、专业知识与应用能力及责任意识 9 个维度,另外还根据专家与用人单位的综合意义,增加了举止仪表这一考察内容,共 10 个维度。测评
16、前我们根据对决策能力、领导能力、8人际沟通能力、自我认知、开拓创新、成就动机、学习能力、专业知识与应用能力及责任意识 9 个指标的解析,以工作分析为基础,结合委托单位根据自身的实践经验对相关胜任特征的理解,针对每一测评要素制定出相应的评分指引。举止仪表这一要素的评分要求评委在被试回答完所有面试问题后,根据被试面试全程的表现,根据相应的综合印象给出评分。 4.测评的组织与过程 测评的评委由 5 人组成,他们事先对测评要素的设计考量、每一测评要素的内涵及评分过程中需注意的事项等方面进行了充分的交流与沟通。在测评过程中,各评委的主要任务就是观察被试的行为表现,独立地作出的评判。理论上,对高层管理人员
17、胜任力的面试测评,宜通过纯经验型评委采用非结构化的测评方式与行为面试的形式;对低层管理人员胜任力的面试测评,宜通过纯技术型评委采用结构化的测评方式与情景面试的形式。考虑到测评时被试主要是一些中高层的管理人员及部分高管,出于便利操作的考虑,实际测评时我们统一采用由 2 名富有测评经验的高校研究人员、2 名有丰富用人识人经验的用人单位高层管理人员及 1 名用人单位人事主管组成的 5 人评委小组,用结构化与非结构化相结合半结构化面试与行为试题相结合的方式,对被试相关的胜任特征进行测评,即根据决策能力、领导能力、人际沟通能力、自我认知、开拓创新、成就动机、学习能力、专业知识与应用能力、责任意识及举止仪
18、表 10 要素构造的面试行为问题对被试施测,在对评分依据充分沟通的基础上,评委根据自己的统觉能力,依据被试对问题的行为反应,综9合判断其相应胜任力要素的高低强弱。需要说明的是,在测评的 5 名评委中,评委 1 与评委 2 为具有丰富测评经验的高校资深研究人员,我们一直基本保持不变。而另外 3 名评委则随委托单位的不同而有所差异,虽然理论上这会在一定程度上影响到对测评有效性评估的结果,但考虑到我们对评委的选择的标准是稳定的,因此本研究中忽略由评委人员变动的原因对测评有效性评估的影响。 5.数据分析 本研究的数据分析过程采用统计分析软件 SPSSl6.0 进行。 三、研究结果 本研究从会聚效度与区
19、分效度、预测效度两个方面对管理胜任力面试测评的有效性进行研究。 1.管理胜任力面试测评的会聚效度与区分效度 会聚效度反映的是不同的面试评委在同一测评要素上评分的相关程度,区分效度反映的是同一评委在不同测评要素上评分的相关程度。一个有效的面试测评,应该具有较显著的会聚效度与区分效度,即不同评委对相同被试在同一面试测评要素上评分具有高相关性,而同一评委在不同面试测评要素上评分应该具有低相关性。据此,我们分别对 5 名评委在 10 个面试测评要素上原始评分进行统计分析,结果见表 2 与表 3。评委 l 与评委 2 是 2 名具有丰富测评经验的高校资深研究人员,评委 3与评委 4 是 2 名委托单位具
20、有丰富用人与识人经验的高层管理人员,评委 5 是委托单位的人事主管。 表 2 中数据表示的是在 0.05 显著性水平下 5 名评委在同一面试测评要素上评分的平均相关系数。表中的数据表明,同一测评要素在不同评10委评分之间相关系数的平均值达到.647,这说明本研究中管理胜任力面试测评的会聚效度总体上是有效的。但表中相关数据的分布同时也表明,各测评要素上的会聚效度存有一定的差异。 “决策能力” 、 “领导能力” 、“成就动机”与“举止仪表”四个面试测评要素上的会聚效度要高于其他测评要素,这表明了面试评委对这四个测评要素的理解相对比较一致。而评委对“自我认知”要素评分的会聚效度相对较低,这可能与该要
21、素代表的是被试能力中的内隐部分有关,在一个有众多约束因素的环境中,各评委对被试能力内隐部分的考察与估测存在着相对较高的差异,从而反映在评委对该要素评分上表现出一定程度的不同。 表 3 中数据表示在 0.05 显著性水平下各面试评委在 10 个面试测评要素上评分间的平均相关系数。表中的数据表明,同一评委在不同测评要素评分之间相关系数的平均值为.431,这说明本研究中管理胜任力面试测评的区分效度总体上是有效的。但各评委间的区分度存在一定的差异。其中评委 1、评委 2、评委 3 与评委 4 分别表示 2 名具有丰富测评经验的高校资深研究人员及 2 名委托单位具有丰富用人与识人经验的高层管理人员,他们评分的平均相关系数较为接近,且相对较低。评委 5 代表的是委托单位的人事主管,对被试测评要素评分的相关系数较高,达到.641。这可能与其自身的测评能力有关,因为本研究中的施测对象为高层及中高层的管理人员,一些委托单位人事主管的测评能力不能对被试相关胜任特征进行有效鉴别,评分存在着较高的“晕轮效应” 。这也印证了基于测评能力对面试评委进行选择的合理性。 2.管理胜任力面试测评的预测效度