论文学术评价指标体系

在各种基于内容的学术评价方法中，最典型的评价模式是学术综述，这是学术评价的最好方法。某一学科里的专家将近期这个领域里的研究情况作一总结，分析出某一时期本学科的重要进展和未来发展趋势，显而易见，这本身也是一种学术研究。学术综述之所以是最好的评价方法，其原因有两条：一是，写综述的学者本身就是这个领域的研究者，甚至是领先的研究者，他们对所讨论的研究课题有比较深刻的理解，具有比较敏锐的学术洞察力。二是，学术综述是基于研究内容的评估，遵循的是学科本身的内在逻辑和研究范式，可以比较准确地描述出该学科研究的现状和发展趋势，由此可以比较准确地对学术研究成果作出评价。另外，学术综述的目的是回顾学术研究本身的发展历程，描述学术研究的现状和预期未来的发展方向，从目的上讲，学术综述的评价目的比较学术化，比较单纯，这样就使得学术综述更加客观，并确保综述的价值中立。所以，学术综述是一种比较好的学术评价方式。 相关关系是指学术研究成果与其他研究成果的相关关系, 这个参数描述了该项研究成果对其他研究成果的影响，即描述了这项成果的影响力。我们知道，学术研究不是闭门造车，也不是脑袋一拍的事情，而是在别人研究的基础上不断地延伸发展起来的，正如牛顿所说，是站在巨人的肩膀上的。任何学术研究都离不开别人的研究成果，但是，一个学术研究成果却不一定能够成为别人进一步探索的基础。其原因主要是：1） 该项研究成果缺乏新颖性，不是一个前沿性的研究成果，自然不能成为进一步探索的出发点。2） 该项成果缺乏启发性，不能引起其他学者的关注和进一步研究的兴趣。3） 该项成果有游离于学术界的研究兴趣之外，或者说，该项成果不被学术界认为是值得研究的。4） 该项研究成果游离于学术界的研究范式之外，比如很多民间科学家的研究。5） 该项研究成果是无意义的和无价值的。反过来说，如果一个学术研究成果和其他研究成果有密切的相关关系，那么至少可以说，这样成果是为学术界认可的。研究成果的相关性指标主要是通过研究论文的引文特征表征出来的。我们知道，一个符合学术规范的研究论文总有引文部分来指示该论文和其他论文的逻辑关系，这是现代学术研究的基本范式。通过引文关系我们可以清楚地描绘出一个研究成果的相关性脉络：两个基本面和两个维度。两个基本面第一，该研究成果与以前的研究成果的相关性，表现为该成果引证先前的相关研究成果，即引用率指标。一个研究成果如果没有引文，其学术性会引起非常大的争议，进一步而言，如果一个研究成果引证的是相关研究非主流的研究成果，而没有印证主流研究成果，那么这个研究成果的价值也是可疑惑的。所以，我看论文首先看引文，如果该论文的引文的质量不高，我自然会怀疑该作者是否认真研读过相关领域里的重要论文，进而怀疑该论文的质量。第二，该研究成果与以后的研究成果的相关性，表现为该成果被别的成果引证的情况， 即为被引率指标。一般说来，被别的成果引用得越多，说明这个成果可能具有越强的新颖性，启发性，越能说明该项成果能够成为进一步研究的出发点，具有较高的学术价值。一个学者，如果其研究成果被别人广泛引用，那么可以认为这个学者对学术的发展有比较大的贡献。当然如果一个研究成果完全是错的，其被引率也会很高，比如时下一本《道德经浅释》被广泛批评，并不说明该成果具有很高的学术价值，而是说明该成果具有很高的荒谬性。所以，被引率往往要和内容评价结合在一起，才能客观地描述出研究成果的价值。两个维度第一是历时性维度。历时性维度有两个时间方向：前向性和后向性。前向性是指该项成果和以前已完成的研究成果的相关性。任何学术研究都如牛顿所说的，是站在巨人的肩膀上的，都是在前人的研究基础上进一步探索的结果。所以，一个学术成果和前人的研究成果的相关关系，显然可以作为判断该成果价值的依据。我们可以通过该成果的前向时间维度，来评估该项研究是不是建立在前人研究基础上的进一步探索，还是重复别人已有的成果。研究成果的前向历时性可以通过该成果的论文中的引文表现出来，我们可以通过这项成果引证他人的研究成果的情况来判断这项成果的新颖性，可以判断这项成果是否站在前人已有的研究成果上继续探索，可以判断该作者是否做了全面的文献综述。后向性是指该成果对以后的研究是否具有参考价值。 我们知道，学术成果是有生命周期的，学术生命周期主要是指该项研究成果对以后学术研究成果具有参考价值的时间长度，也就是说，该成果发表后多少时间内，能够持续地对后续的研究产生影响。一些成果的生命周期长些，甚至长至百年；一些的短些，可能发表出来就结束了。学术成果的生命周期造就了学术相关性评价的理论基础之一。学术成果生命的最好度量是通过引文实现的，举例说来，一篇论文发表后的5年内被其他论文持续大量引证，以后逐渐减少，直到没有，这一个时间周期就表征了该学术成果的生命周期，也时描述该成果语其他成果相关性历时性特征的重要依据。学术成果的生命周期是非常容易定量估算的，但是怎样估算，据我了解目前还没有很好的估算公式，我们图书馆界研究这个问题具得天独厚的条件，我们不妨试着研究一下。特别是叶鹰教授搞的抽象图书馆学是不是能在这方面找到应用价值？猜想一下。第二是共时性纬度，这个维度表征了该成果和同时期的研究成果的相关性，这个维度同样由来个时间方向，前向性和后向性。共时性可以通过该研究成果最近的引证别人的论文和别人引用该成果的引文来表征出来，例如，该成果最新的一篇引文是半年前的成果，发表后第一篇被引的论文发表于半年后，那么其共时性特征前向性是半年，后向性也是半年。显然，共时性维度是表征研究成果新颖性和重要性的重要描述指标。

一提起论文价值，恐怕首先想到的是影响因子。尤其是在中国，影响因子对于科研人员和工作者真是命根，晋级，升迁，申请基金，评奖等等无不与影响因子有关。但是除了影响因子，还有许多其它的评价论文价值的方法。本文就介绍一下常见和新兴的评价论文价值的指标。评价一个论文价值，无非从量化和质化两个方面来评价，或者期刊和论文的角度来评价。下面提到的指标，有的是从量化，有的是从质化，有的是从期刊角度，有的是从文章角度。影响因子影响因子确切说是针对期刊的，而并非直接针对论文的。影响因子应该是一个量化和半质化的指标。为何？这是因为高影响因子的期刊低水平的文章也并非没有，低影响因子高水平的论文也大有存在。当然，如果论文婆家找的好，自身的身份也就自然高了。正如以前的皇妃，可能整个素质比一般大众好，可以平民中也大有出类拨粹的人物存在。因此，现在影响因子也是饱受垢病。有的人戏称SCI是stupid chinese idea，其中的原因也就不多说了。查看影响因子的方法有多种，最经典的方法当然是Web of Science，但是收费，一般人用不起。简单方便的方法可以使用医学文献助手：利用医学文献助手筛查PubMed文献质量引用次数这个就不用多介绍了吧。很多数据库和在线查询平台都可以实现引用次数的查看，例如Google和微软学术搜索Microsoft Academic Search，还有利用医学文献助手筛查PubMed文献质量H指数（H Index）H指数是2005年由美国加利福尼亚大学圣地亚哥分校的物理学家乔治·希尔施提出的。H指数的计算基于其研究者的论文数量及其论文被引用的次数。赫希认为：一个人在其所有学术文章中有N篇论文分别被引用了至少N次，他的H指数就是N。可以按照如下方法确定某人的H指数：将其发表的所有SCI论文按被引次数从高到低排序；从前往后查找排序后的列表，直到某篇论文的序号大于该论文被引次数。所得序号减一即为H指数。以上有关H指数的内容来自维基百科查看H指数的最简单的方法就是利用Google Scholar，注意是英文版的，中文版的不要。另外FireFox和Chrome也有相应的插件可以选用。I10指数（I10-Index）I10-index是由Google提出来的，指作者发表文章数被引用10次以上的个数。比如我发表了100篇文章（呵呵，有点大了啥），其中90篇被他人引用了10次以上，那么本人的I10-index就是90。如果说影响因子是针对期刊的话，那么H指数和I10指数就是针对个人的。论文的影响因子高，只能说该论文找了一个好婆家，具体引用情况并不一定。而H指数和I10指数就是确切反应论文引用的一种量化标准。G指数（G-Index）G-Index（G指数）相比于上述几个指标来有点默默无闻。G-Index是由Leo Egghe于2006年提出的， 评价作者论文数量的一个指标。G指数的计算方法如下把所有作者发表文章按照引用次数降序排列，序号为g把作者所有发表文章的序号进行平方，得到g2把作者所有文章的引用次数进行加法，得到∑TC最后一个∑TC仍大于g2的序号就是G指数。有点绕哈，没事举个例子更清楚一些，比如我发表了以下文章，按照引用次数进行排序如下引用次数（TC） 序号 （g） 文章引用 次数之和 （∑TC） g^2 47 1 47 1 42 2 89 4 37 3 126 9 36 4 162 16 21 5 183 25 18 6 201 36 17 7 218 49 16 8 234 64 16 9 250 81 16 10 266 100 15 11 281 121 13 12 294 144 13 13 307 169 13 14 320 196 13 15 333 225 12 16 345 256 12 17 357 289 12 18 369 324 12 19 381 361 11 20 392 400 … … … … 由上表可以看出我的H指数是13，g指数是19，因为第20个文献g2已经大于前面所有引用次数之和了。（该例子数值来源于Egghe. An Improvement of the H-Index: the G-Index）G指数相比于H指数和I10指数，更能反应论文整个引用情况。比如我发表的文章，总体都不高，可能H指数比较高，可是一算G指数立马原形毕露，原来是水货一枚。H5指数（H5-index）和H5中位数（H5-median）H指数、I10指数和G指数是针对个人论文引用次数的统计，而H5指数和H5中位数（H5-median）是针对杂志引用次数的一种评价体系。H5指数H5指数是过去5年之内某一杂志所发表的论文数相比于引用数的最小值，如Nature杂志过去5年之内发表了1000篇文章（当然实际数值比这个大），按照每篇论文的引用数进行降序排列第381位的文章的引用数是381，而382的文章引用数是300，那么Nature的H5指数就是381H5相较于IF，是反应杂志过去5年文章的引用情况，而IF是反应的杂志平均引用情况。H5相较于H指数，是针对杂志的总体情况，而H指数是针对于个人论文的引用情况。有时候不同影响因子的杂志，H5可能一样。如PLoS One和Nature Reviews Immunology的H5都是130，可是两者的影响因子相差可不止一个档次。H5中位数H5中位数（H5-median）是指所用文章引用次数的中位数。为毛不用平均数？因为资料不是正态分布。每一个杂志的文章引用次数肯定不会是平均分布的，正如我国居民收入一样。有的引用次数肯定很大，可是有的文献可能很水，引用次数少的可怜。如果平均无法反应真实的引用情况，中位数最佳的选择。F1000F1000(Faculty of 1000)是为生物学及医学研究人员提供评估服务的二次文献数据库，是由英国BioMed Central出版的一种新型在线研究辅助工具，包括生物学（Biology）和医学（Medicine）两大系列。 其目前是给生命科学研究者一个新的评价体系，而不仅仅依赖于是否被SCI收录。医学F1000：由2400多位世界顶级的临床专家、学者收集和评价，提供目前世界上最重要的医学论文信息及发展趋势。它包括18个领域：麻醉和镇痛、心血管疾病、重症监护和急诊医学、皮肤病学、糖尿病和内分泌病学、循证医学、胃肠病和肝病学、血液病学、感染性疾病、肾病学、神经疾病、肿瘤学、心理学、公共卫生和流行病学、呼吸系统疾病、风湿和临床免疫、泌尿病学、女性健康。该网站文献与PubMed及PubMed Central进行了链接。生物学F1000：由2300多位专家学者的评价，提供目前世界上最重要的生物学论文信息及研究趋势。涵盖学科领域：生物学、生物化学、生物信息学、生物技术、癌症生物学、心血管生物学、细胞生物学、化学生物学、发育生物学、生态学、进化生物学、胃肠生物学、基因组学和遗传学、免疫学、代谢及内分泌学、微生物学、分子生物学、分子医学、神经科学、药理学与药物发现、生理学、植物生物学、肾生物学、呼吸生物学、结构生物学。主要特点主要对PubMed收录的重要论文的进行客观评估，评估依据是以学术成就而非该期刊是否被SCI收录；参加评议的成员分别由美国和欧洲等国际知名机构的著名专家组成。根据论文对当前世界生物和医学研究的贡献程度和科学价值，通过客观反映学术水平的指标（F1000因子）给予评分，每日将最近一个月内的极少数优秀论文推荐给读者，并提供Pubmed链接。F1000三个等级分别为9分（杰出）、6分（必读）和3分（推荐）。以上有关F1000的内容来自百度百科。因此F1000相比于影响因子，多人工挑选的干预，其分值高的研究意义就比较重大。F1000应该是一个质化的指标，最简单的实时查看F1000的方法也可以使用医学文献助手。聊完了传统的评价指标，再扒一扒新兴的论文评价指标AltmetricAltmetric是一个新兴的指标，虽然字面意思是替代指标，但是我认为「社会化影响力」或者「网络影响因子」或者「分享因子」更能反应其本质。Altmetric出现的背景可能大家遇到这么一种情况，有的论文发表以后，被大家广泛转载，网络新闻报道，Twitter或者G+上评论和分享。这时，影响因子和F1000就不能反应这些了。Altmetric就是在这种情况下出现的，Altmetric就是反应某一论文分享、下载、阅读的情况。但是现在Altmetric争议也比较大，关于名字都有争议。我个人认为InterMetric更好，简称IM，有点和实时通讯软件混了啥。SocialMetirc，简称SM，有点变态了哈。有关Altmetric更多详情可以参阅此文：利用Altmetric评价系统了解论文的关注度分享情况类似的还有Plum Metrics （利用Plum Metrics评价系统了解论文的关注度分享情况）和Impactstory（这个可能要挂代理）RG ScoreRG Score（RG因子）是ResearchGate推出的一个评价作者的指标。RG Score推出的目的是为了帮助评价自己在科学圈内的处于一个啥水平。计算方法并不是自我发表了多少文章，而是自己的科研工作被同行认可以程度。RG Score不同于传统评价指标在于可以统计更多的信息，如下载，浏览、分享等。RG Score不同于Altmetric之处在于RG Score更测重于分享。如果和同行分享自己的Idea，并得到同行的认可和讨论，那么RG Score增长很快。更多有关RG Score的详情可以查看此文：ResearchGate科研人员自己的FaceBook

CiteScore

影响因子是评价学术期刊的一项重要指标，曾被认为是学术界的金标准。但近年来由于在学术评价体系中被滥用受到各方人士的强烈抵制。2016年7月5日，几大顶尖级学术出版机构包括多家著名期刊也联合在预印本网站BioRxiv上发表文章呼吁期刊降低对影响因子计算的痴迷和依赖程度，并强调用引用分布曲线（Citation Distribution）来取代影响因子的简单算术平均。其他一些权威机构也纷纷提出多元化的文献计量评价指标，以期打破影响因子一家独大的局面。2016年12月8日，出版业巨头Elsevier重磅推出了他们基于Scopus数据库的全新期刊评价体系：CiteScore。Scopus数据库涵盖了世界上最广泛的科技和医学文献的文摘、参考文献及索引，因此被各界人士认为是影响因子最有力的竞争对手。与影响因子相比，Cite Score具有以下优势。

一，期刊涵盖数量众多，中文期刊显著增加。

CiteScore涵盖的期刊数量达到22256本，比影响因子的11000种期刊多了一倍。尤为重要的是，相比SCI数据库中的几十种中文期刊，Scopus收录了几百种重要的中文期刊。有学者表示，这对中文期刊会是一件好事。以往很多优秀的中文期刊由于不在SCI检索范围内，在高校职称评定时不被认可，因此稿源越来越少。如果将来国内认可CiteScore，那么对于被收录在Scopus数据库中的这些优秀的中文期刊又是一次极好的机会。

二，指标计算公式有所不同。

与影响因子的计算某期刊连续2年论文在第3年度的篇均引用次数类似，CiteScore计算的是期刊连续3年论文在第4年度的篇均引用次数。但两者有一个重要的区别，影响因子计算时的可引用内容只有论文和综述，剔除了编辑评述、读者来信、更正信息和新闻等计入分母，但其引用数仍被计入分子。而CiteScore将所有文献内容都视作可能被引用的内容，包括编辑评述、读者来信、更正信息和新闻等。这些内容的引用很少，因此会拉低期刊的得分。

三、影响因子没有学科领域的区分，而CiteScore有不同领域的相对排名。

大家都知道，把不同领域的文章混在一起谈影响因子，是没什么意义的。比如数学和工程的跟化学和生物领域的科研人员就没法说到一块去。一个是顶了天都不到2的影响因子，另一个是到10都很正常。CiteScore也是只有比较同一领域的期刊才有意义，对选择发表论文才具有专业引导作用。所以在查询网站中还有Highest CiteScore Percentile在CiteScore后面，这就能够看出期刊在不同领域的相对排名。

四、CiteScore是免费的。

与影响因子只对购买者开放不同，CiteScore对任何在线用户免费开放。任何人都可以通过官方网站来查看期刊CiteScore，也可以分析期刊的引用情况。

CiteScore一经推出，学术界人士普遍表示支持。多数人认为，影响因子是应该有个对手了，只要有进步，有比较都是好的，我们不要一家之言！本人也认为，影响因子已经在评价指标第一把交椅上坐得太久了，以致现在负面影响隐隐有超过积极影响的架势，也是时候有另一个因子取而代之了。但是影响因子毕竟在学术界还是影响深远，全盘否定而推出一个完全不同的指标有可能是操之过急。CiteScore在计算方法上与影响因子大同小异，虽然只是治标，但可能更加符合现在的需求。无论如何，有创新总是好的，多元化的计量评价指标才能让评价体系越来越趋于完善。