论文评价中影响因子搭便车现象.doc

1、1论文评价中影响因子搭便车现象摘要影响因子 IF2 被广泛用于学术评价，IF2 采用所有论文的被引次数计算均值，基本假设是论文被引用次数大致相当，但实际上这一假设绝大多数情况下并不成立，由此出现论文评价中的影响因子搭便车现象。以 2010 年 JCR 收录人工智能领域 60 本期刊数据为基础，得到同一分组期刊 TM-IF5 绝对值比 IF2 大幅度降低，最大降幅 80%、多数为50%左右，表明论文被引次数不均匀分布对影响因子计算结果影响显著，换言之影响因子搭便车现象普遍。因此，影响因子只适用论文的短期评价，此外需要采取辅助措施来降低影响因子的评价误差。 关键词学术评价；影响因子；截尾影响因子；

2、搭便车 中图分类号G255.2文献标识码A文章编号1008-0821（2013）02-0012-03 影响因子 IF2 在全球已被广泛应用于学术评价、绩效考核、学术资源配置，著名生物医学期刊The PLoS Medicine在 2006 年发表题为The Impact Factor Game的社论指出：“The impact factors of journals have been used to decide whether or not authors get promoted，are given tenure or are offered a position in a departm

3、ent，or are awarded a grant.In some countries，government funding of entire institutions is dependent on the number of publications in journals with high 2impact factors”。 从统计学角度看，影响因子指标的数学实质是以期刊发表全部论文的被引预期值（也就是均值）来替代对每一篇论文本身的直接评价。但是，统计学早已表明，均值容易受到少数偏离值影响，具体到期刊影响因子计算就是少数高被引论文拉高了大部分论文被引预期， 晶体学报A就是一个很好的

4、例子。 SCI 收录期刊 Acta Cryst A（中文名晶体学报 A ） ，2008 年该期刊影响因子只有 2.05，2009 年却高达 49.93，影响因子 1 年之间竟然增长 24 倍，堪称世界学术期刊中的奇迹。原因是德国学者 Sheldrick 开发的晶体结构分析程序 SHELX 以及 Bruker SHELXTL 被学术界广泛使用，2008 年 Sheldrick 在 SHELX 软件主页上写到“At last there is a paper that should be cited whenever any program that begins with“SHELX”（incl

5、uding the Bruker SHELXTL）is used：A short history of SHELX.Sheldrick（2008）.Acta Cryst.A64，112-122。很多程序使用者撰写论文时都按 Sheldrick 要求引用该文，于是 2008 年、2009 年 2 年该文获得 6 605 次引用，而两年间晶体学报 A发表 122篇论文，6 605 被引次数除以 122，影响因子从 2 猛升到 50。ACTA CRYSTALLOGR A 影响因子在 2012 年又大幅度下降为 0.6。 那么， 晶体学报 A现象是不是个例与孤案？本文拟从学科领域的水平与层次对此进行一

6、个案例讨论。 1 数据 1.1 期刊来源 3目前全球最有代表性的国际性引文数据库即美国 ISI 公司的 WOS 数据库、欧洲 Elsiver 公司的 SCOPUS 数据库。学科领域选择考虑本文篇幅限制，选择 JCR 收录期刊数量较少领域，此外还考虑与 SCOPUS 数据库的共同收录情况，最终选择计算机学科下的人工智能领域，计 60 本期刊。 1.2 数据来源 2010 年度 JCR 报告取得讨论期刊的影响因子、在 SCI 数据库中获得计算截尾均值影响因子值相关数据。由于工作量较大，没有扣除期刊自引以及只计算研究论文（research paper 或 original paper）的被引次数。

7、1.3 方法 描述 1 组数据整体特征的描述统计指标很多，其中不容易受到个别偏离值影响的最常见统计量有调和均值、众数、中位数、截尾均值等。考虑到数据收集方便程度以及与影响因子计算方法的平滑衔接，选择截尾均值。本文将截尾均值比例确定为 5%的原因是：统计学上一般认为 5%是小概率事件，计算 1 本期刊发表 95%论文被引次数均值已经有足够大代表性。 对于 1 本期刊去掉最高被引与最低的合计 5%论文被引次数后计算的影响因子（为行文方便，以下使用英文缩写简称 TM-IF5）与没有去掉之前的影响因子相同或者变化不大，则自然说明该期刊论文被引情况相同或者很接近，影响因子搭便车问题不严重可以接受。统计时

8、间确定为 5年的原因是：多数学科的多数论文被引高峰都出现在发表后 5 年之内。当然也可以根据研究与科研管理的实际需要采用其他统计时间。 4进行分组的必要性与理由在于：（1）期刊影响因子本身是对论文质量的一种间接评价方法，不宜过度强调影响因子之间的细微差别。 （2）同一学科领域内部的期刊影响因子差异不大，排名对取值敏感，很小的绝对值差别会导致较大的排名差异，分组对影响因子取值变化敏感度大大降低。 （3）分组讨论也有利于抑制数据统计等各种误差。 （4）除了影响因子最高的几本期刊外，其余绝大多数期刊影响因子分布比较均匀，没有表现出很明显的聚类趋势，因此采用最为直观的绝对值分组。 影响因子、截尾均值影

9、响因子均分 5 组，由高到低为 ABCDE。影响因子分组标准直观的为：大于 4 为 A 组、34 为 B 组、23 为 C 组、12为 D 组、小于 1 为 E 组。截尾均值影响因子分组标准为：大于 2 为 A 组、1.52 为 B 组、11.5 为 C 组、0.51 为 D 组、小于 0.5 为 E 组。 两个指标分组尺度不同的原因是：截尾均值影响因子对影响因子进行了扣除，一般地一本期刊的截尾均值影响因子会小于其影响因子。表 12010年 SCI 人工智能领域 60 本期刊分组 分组 由表 2 可以看到，同一分组期刊 TM-IF5 值比 IF2 值大幅度降低，A组降低幅度最大为 80%之多，

10、B 组为 25%，其余 CDE 组均为 50%，非常接近。比值越小说明少数高被引论文拉高期刊影响因子的程度越严重，表2 数据表明上述期刊中大部分论文被引次数不高、论文之间的被引次数差异很大，也就是说论文质量存在较大差异，不能因为都发表在同一本期刊上就认为论文质量相当。 2.2 对比分组变动情况（表 3）表 3IF2 与 TM-IF5 分组变化 5表 3 显示，分组等级变化最大的是 A 组，变化最小的是 E 组，其余中间水平各组变化程度大致相当，在 50%左右。出现上述变化格局的原因很明显：影响因子没考虑论文被引次数的内部差异，而高影响因子期刊往往由少数高被引论文拉高影响因子，按照截尾均值影响因

11、子进行计算，少数高被引论文被剔除计算，所以 A 组期刊分级情况变化最剧烈。同样道理，E 组期刊被引次数整体少，内部差异变化也不大，故而 E 组分级情况变化最小。 表 46 本期刊对比 编号 11 期刊名称 11 影响因子 11 分组 11 截尾均值 表 4 显示，编号为 3、4、5、6 的 4 本期刊影响因子与截尾均值影响因子之比均在 100%左右波动，换言之即 4 本期刊发表论文之间被引次数差异相对较小，故而其分组上升。一个突出的反面例子即编号 1 期刊，影响因子与截尾均值影响因子之比大于 2 倍之多。因此，编号 1 期刊所在分组由影响因子的 A 组急剧下滑到截尾均值影响因子的 E 组。 3

12、 结语 评价研究工作价值大小的根本标准是解决问题重要性、解决程度、解决方法优劣，研究工作发表在何种期刊上只是形式问题，一些诺贝尔奖论文并没有发表在高影响因子期刊上。本文的分析也表明 1 本期刊的影响因子往往由极少数（本文讨论前 2.5%被引论文的贡献）论文贡献，因此以期刊评价论文存在一定误差。正是如此，影响因子只适合于短期论文评价，具体而言即中国高校目前盛行的年度考核与分配确定依据之应用。要比较可靠得分评价 1 篇论文价值，需要直接对论文本身进行评6价，此外需要较长时间来进行评价。 当然，作为第一个被提出的影响因子类指标，IF2 尽管存在诸多不足，长期应用已经使其成为事实上的期刊评价标准或者说

13、主要标准之一。加菲尔德指出1：“两年影响因子并不是评价论文质量的完美工具，但目前也没有比这个方法更好的方法。除了个别，绝大多数情况下每一专业最好杂志其影响因子也是较高的，在其上发表论文也是最难的。评价单篇的论文或某个作者理想做法是评价者阅读每篇文章来做出判断，但是要使评审者意见趋于统一相当困难。此外，大多数的评价者都没有时间来阅读所有的相关论文” 。换言之，影响因子在当代学术职业从业者众多、严格同行评议成本过高的实际情况下有一定的科研管理价值。 为了提高影响因子在短期论文评价中的积极作用与价值，还可以考虑一些具体改进措施如：（1）影响因子相邻年份增长速度明显过大的（比如一年之间增长 1 倍或者

14、 50%等）者不能简单按照影响因子来进行评价，还需要结合其发文数量等指标来考虑论文分级归属。 （2）采用一些改进的影响因子，如正确影响因子2、ACIF 指数3、累积影响因子4等。 （3）限制低影响因子发表论文的奖励额度，提高在高影响因子期刊上发表论文的奖励，以消除一些国内高校尤其是非名牌高校管理层为了快速提升 SCI 论文数量指标，对 SCI 论文重金奖励，但设计奖励政策时没有区分不同质量的期刊，一些研究人员抓住政策漏洞，在低影响因子期刊上发表几十篇低质量论文而获得巨额奖励的不正常现象。 致谢：本文数据由桂林电子科大商学院 2009 级工商管理专业谢雄、王萍整理。 7参考文献 1Garfiel

15、d.The History and Meaning of the Journal Impact FactorJ.冷怀明，编译.编辑学报，2006， （6）：90-93. 2Modeh，Van Leeuwen.Impact Factors Can MisleadJ.Nature，1996， （381）：186. 3Markpin，Boonradsamee，Ruksinsut et al.Article-Count Impact Factor of Materials Science Journals in SCI DatabaseJ.Scientometrics，2008， （2）：251-261. 4Garfield.Impact of Cumulative Impact FactorsOL.http：www.garfield.library.upenn.edu/papers/impactofcumimpfacs.pdf. （本文责任编辑：马卓）