C9高校学科建设的绩效评价与预测——基于ESI和InCites数据库

?

C9高校学科建设的绩效评价与预测
——基于ESI和InCites数据库

刘雪立1，周　晶2，盖双双2

(1.新乡医学院期刊社，河南省科技期刊研究中心，河南　新乡　453003；2.新乡医学院管理学院，河南　新乡　453003)

摘　要：详细介绍了联合应用ESI和InCites数据库对中国C9高校学科建设的绩效评价和预测方法。基于简单的数学模型计算了9所C9高校22大学科的学科优势，根据学科优势值的大小判断入选ESI的学科，结果与各高校实际入选ESI的学科基本一致。对将要入选ESI数据库的学科进行了预测。根据C9高校入选ESI学科的分布，对中国高校学科建设和发展现状进行了评价。

关键词：ESI数据库；InCites数据库；C9高校；科研绩效评价

对高校科研绩效的正确评估和评价，是政府和高校科学制订研究计划、合理配置科技资源的重要参考依据[1]。近年来，基于文献计量学的科研绩效评价成为研究的热点，最常用工具是美国汤森路透创办的Web of Science(WoS)、基本科学指标(Essential Science Indicators,ESI)和InCites。WoS主要包括三大权威引文数据库——科学引文索引(SCI)，社会科学引文索引(SSCI)和艺术与人文科学引文索引(A&HCI)[2-3]。ESI创建于2002年[4]，由引文排序、高被引论文、引文分析和评论报道4部分构成[5-6]。InCites创建于2011年，是汤森路透开发的一个专门的科研绩效评价工具[7]。ESI和InCites均是通过对WoS数据的深度加工，采用不同指标、从不同方面对科学研究绩效进行分析和评价。相比之下，ESI应用较多[8-12]，而InCites应用较少[13-14]，国内研究较国外活跃。多数研究仅应用ESI或InCites进行论文产出评价，罕见同时应用两数据库进行高校学科建设绩效评价与预测。董政娥等[15]将ESI和InCites结合，对东华大学的学科发展进行预测，在这两个数据库联合应用方面做出了有益探索。以上科研绩效评价研究以单一评价工具应用为主，ESI和InCites联合应用仅见对某一特定高校学科建设和发展水平的评价和预测[15]。目前，想了解各高校入选ESI的学科，只能登录ESI数据库，逐一输入高校规范的英文缩写名进行检索，而将ESI和InCites结合使用，可以批量确定不同高校入选ESI的学科，并对各高校不同学科的优势进行比较和排序。本文将以中国C9高校为例，详细介绍联合应用ESI和InCites数据库进行高校学科建设绩效评价和预测的方法。

1　研究对象和方法

1.1　研究对象

C9高校即教育部支持并鼓励建设的首批进入国家“985工程”建设的9所著名大学，分析、评价学科为ESI数据库划分的22个学科领域。

1.2　研究方法

(1)各学科入选ESI域值的获取。登录ESI数据库，点击主功能区模块下的“NOTICES”按钮，在打开的页面上再点击超级链接“Citation Thresholds for Scientists，Countries，Institutions，and Journals”，即可下载1个Excel文件，内容包含22个学科科学家、国家、机构和期刊入选ESI数据库的域值。

(2)各高校入选ESI的学科。登录ESI数据库，点击“Citation Rankings”模块的“Institutions”,按钮，在打开页面的“By Name”的文本框中输入需查询学校的规范英文缩写名，点击“Search”按钮即可获取该学校入选ESI的学科及各入选学科论文数、被引次数和篇均被引次数。

(3)C9高校各学科论文被引次数的获取。登录InCites数据库，点击“Global Comparisons”下的“Institutional Comparisons”选项,获取中国C9高校22个学科2005—2014年的被引频次，导出为Excel文件。该文件中给出了各高校22个学科近10年间WoS论文数及其被引次数。

(4)C9高校学科优势值的计算。学科优势是指在1个完整的ESI数据库评价周期(10年)内，某高校某学科论文被引次数与同期ESI机构入选域值比较的领先程度，可采用下式进行计算：

学科优势

(1)

利用Excel计算所有C9高校22个学科的学科优势值。

(5)入选ESI的学科预测。根据式(1)计算的学科优势值，可以预测某高校或研究机构近期有可能入选ESI的学科。理论上讲，优势值越接近1，越有可能成为近期将要入选ESI的学科。

2　结果与分析

2.1　ESI中22个学科的机构入选域值

ESI数据库22个学科机构入选域值见表1。

表1　ESI数据库22个学科科学家、国家/地区、机构、期刊入选域值

学科领域中文译名缩写名入选域值AgriculturalSciences农业科学AS1058Biology&Biochemistry生物学与生物化学BBC5227Chemistry化学Ch5514ClinicalMedicine临床医学CM1742ComputerScience计算机科学CS2313Economics&Business经济学与商务EB3330Engineering工程学En1585Environment/Ecology环境与生态学EE3125Geosciences地球科学GS4529Immunology免疫学Im3617MaterialsScience材料科学MS3282Mathematics数学Ma3191

续表1

学科领域中文译名缩写名入选域值Microbiology微生物学MB4341MolecularBiology&Genetics分子生物学与遗传学MBG9495Multidisciplinary多学科综合Md8008Neuroscience&Behav-ior神经与行为科学NSB4442Pharmacology&Toxi-cology药理学与毒理学PhT2692Physics物理学Ph11021Plant&AnimalSci-ence植物学与动物学PAS1971Psychiatry/Psychology精神病学与心理学PP3384SocialSciences,gener-al综合性社会科学SSG1078SpaceScience空间科学SS24800

2.2　C9高校入选ESI数据库的学科

(1)ESI数据库查询结果。登录ESI数据库查询，逐一检索中国C9高校实际入选ESI数据库的学科，详细结果见表2。

(2)通过学科优势值判断入选学科。根据表1中入选ESI数据库各学科论文被引次数域值和通过InCites数据库检索的各C9高校2005—2014年不同学科的论文数和被引频次，采用公式(1)计算各高校22个学科的学科优势值，学科优势值≥1的均应该是入选ESI的学科。结果表明，通过计算学科优势值判断入选ESI的学科与登录ESI数据库查询的结果高度一致。只有浙江大学的地球科学，南京大学的神经与行为科学、社会科学等学科的学科优势值小于1(非常接近1，分别为0.964、0.997、0.922)而入选了ESI(见表2)。

(3)C9高校近期将要入选ESI数据库的学科预测。根据C9高校各学科的学科优势值，我们列出了各高校未入选ESI而学科优势值居前三位的学科及其学科优势值(见表3)。表3中学科优势值≥0.8的学科都有可能于近期入选ESI数据库。

北京大学的多学科综合有望于近期入选ESI，微生物学也有可能，空间科学差距较大。通过有意识引导，合理配制资源，北京大学入选ESI的学科有望增加到21个。

表2　中国C9高校入选ESI数据库的学科

高校名称入选学科数入选的学科北京大学19临床医学化学工程物理学材料科学地球科学药理学和毒理学社会科学环境与生态学生物学和生物化学植物和动物科学神经科学和行为学分子生物学和遗传学计算机科学数学经济和商务精神病学和心理学农业科学免疫学浙江大学18工程学化学临床医学材料科学农业科学植物和动物科学物理学药理学和毒理学环境与生态学生物学和生物化学计算机科学数学分子生物学和遗传学免疫学社会科学微生物学神经科学和行为学地球科学*上海交通大学16临床医学工程材料科学化学生物学和生物化学计算机科学物理学药理学和毒理学社会科学分子生物学和遗传学植物和动物科学神经科学和行为学数学农业科学环境与生态学免疫学复旦大学16临床医学化学材料科学工程药理学和毒理学生物学和生物化学物理学社会科学植物和动物科学神经科学和行为学分子生物学和遗传学数学环境与生态学免疫学计算机科学农业科学南京大学15化学临床医学材料科学工程学物理学地球科学农业科学环境与生态学药理学和毒理学生物学和生物化学计算机科学植物和动物科学数学神经与行为科学*社会科学*

续表2

高校名称入选学科数入选的学科清华大学14工程学材料科学化学物理学计算机科学生物学和生物化学临床医学环境与生态学社会科学数学分子生物学和遗传学植物和动物科学地球科学药理学与毒理学中国科学技术大学10化学工程学物理学材料科学地球科学计算机科学生物学和生物化学数学临床医学环境与生态学西安交通大学8工程学材料科学临床医学计算机科学化学物理学数学药理学和毒理学哈尔滨工业大学8工程学材料科学化学物理学计算机科学环境与生态学数学生物学与生物化学

注：*该学科为实际入选学科，而学科优势值<1。

浙江大学已入选18个学科，还有4个未入选。目前这4个学科离ESI入选标准差距均较大，短期内入选学科数增加的可能性极小。

上海交通大学已入选16个学科，还有6个未入选，分别是微生物学、精神病学与心理学、经济学与商务、地球科学、多学科综合、空间科学。根据学科优势值，只有微生物学有望于近期入选。

复旦大学未入选学科分别为微生物学、地球科学、经济学与商务、多学科综合、精神病学与心理学、空间科学。近期可能入选的是微生物学，其次是地球科学。

南京大学的分子生物学和遗传学有望于近期入选ESI，使入选学科提高至16个。

清华大学已入选学科14个，未入选学科中经济学与商务、神经与行为科学、农业科学等相对较强，但学科优势值均在0.8以下，近期增加入选学科难度较大。

中国科学技术大学入选学科为10个，接下来的3个相对优势学科是神经与行为科学、植物学与动物学、药理学与毒理学。目前看，神经与行为科学最有希望入选，但难度相对较大。

西安交通大学入选学科为8个，未入选学科中社会科学、生物学与生物化学、神经与行为科学等较有优势，尤其是社会科学、生物学与生物化学都有可能于近期入选，神经与行为科学距离入选标准也较接近。

哈尔滨工业大学除了入选的8个学科，其余较好的学科是农业科学、临床医学、社会科学。这三个学科在工科院校想得到进一步发展想必有一定难度，预计近期想增加入选ESI学科困难重重。

表3　C9高校未入选ESI、学科优势值居前三位的学科

高校名称未入选学科(学科优势值)北京大学多学科综合(0.816) 微生物学(0.735) 空间科学(0.454)浙江大学经济学与商务(0.367)精神病学与心理学(0.192)多学科(0.168)上海交通大学微生物学(0.816)精神病学与心理学(0.510)经济学与商务(0.482)复旦大学微生物学(0.866)地球科学(0.701) 经济学与商务(0.334)清华大学经济学和商务(0.76) 神经与行为科学(0.698) 农业科学(0.639)南京大学分子生物学与遗传学(0.826)免疫学(0.563)空间科学(0.366)中国科学技术大学神经与行为科学(0.709)植物学与动物学(0.642)药理学与毒理学(0.599)西安交通大学社会科学(0.959) 生物学与生物化学(0.863)神经与行为科学(0.723)哈尔滨工业大学农业科学(0.874) 临床医学(0.583) 社会科学(0.406)

注：将要入选ESI的学科是指学科优势值≥0.70的学科。

2.3　C9高校各学科入选频率

表4显示，C9高校的工程学、材料科学、化学、物理学、计算机科学、数学等学科全部入选了ESI说明C9高校这些学科在全球科学领域普遍较强。相比之下，空间科学、多学科综合是最弱的学科，其次是微生物学、精神病学与心理学、经济学与商务等。C9高校是中国顶级高校，代表了高等学校建设的最高水平，这些高校的学科建设和发展水平也是最高的，然而却没有一个高校的空间科学和多学科综合入选ESI，说明我们的空间科学技术与国际水平还有较大差距。精神病学和心理学、经济学与商务等学科只有北京大学入选ESI，这两个学科一个代表具有人文关怀属性的特殊重大疾病研究水平，一个代表经济和社会发展研究水平。这些弱势学科都是关系社会发展和国计民生的重要学科领域，建议国家相关主管部门，如教育部、科技部、自然科学基金委员会、哲学社会科学规划办公室等在制定科技发展规划、布局高校学科建设和发展、研究资源配制等方面适当向这些学科领域倾斜。

表4　C9高校各学科入选ESI数据库情况

学科入选数学科优势值最大值最小值中位数平均值工程学942.3306.66219.67821.061材料科学921.3186.44912.14811.784化学922.2252.87417.96514.630物理学99.9071.9425.6155.790计算机科学97.6561.3872.4443.224数学92.2751.1731.6981.662临床医学848.5830.58310.39018.757环境与生态学86.0940.4342.2303.078生物学与生物化学85.9430.8634.5263.478药理学和毒理学75.7280.1262.2742.903综合性社会科学76.5720.4061.7882.329植物和动物科学610.6010.0991.5152.676分子生物学与遗传学53.1340.0771.8151.597地球科学57.5780.1220.9642.116

续表4

学科入选数学科优势值最大值最小值中位数平均值神经科学与行为学53.9320.0130.9971.602农业科学515.5300.1461.3282.892免疫学41.9590.0070.6230.977经济学与商务11.6490.0360.3670.529精神病学与心理学11.6970.0190.1510.337微生物学11.4190.0520.5880.539多学科综合00.8160.0070.1780.252空间科学00.4540.0060.0270.162

3　讨论

3.1　ESI与InCites结合进行学科建设绩效评价的意义

(1)由表2可知，通过ESI查询，C9高校入选ESI的学科中，只有南京大学的神经与行为科学、社会科学和浙江大学的地球科学其学科优势值<1(但非常接近1，分别为0.997、0.922和0.964)，其他学科的学科优势值均≥1，而且通过计算各C9高校22个学科的优势值，学科优势值≥1的均入选了ESI数据库。说明通过InCites获取各高校不同学科论文被引次数，进而计算学科优势值来判断各高校各学科是否入选ESI数据库是科学可行的。9所高校198个学科(9×22)中，3个学科的优势值<1而实际入选了ESI，主要是因为ESI和InCites数据库更新周期不一致造成的。

(2)单独应用ESI数据库评价不同高校入选ESI的学科较为麻烦，只能逐个高校进行检索，无法批量获取不同高校入选的学科情况。ESI和InCites结合很好地弥补了ESI数据库的局限性，使我们能够批量获取不同高校入选ESI的学科，从而使高校学科建设与发展的绩效评价变得更加简便和全面。

(3)ESI与InCites结合，能够对不同高校学科建设绩效进行比较和预测。ESI数据库的引证排序模块中，通过学校名称(英文)能够逐一获取各高校是否有学科入选该数据库及入选的学科；通过学科检索，能够获取该学科全球机构排序(但每页显示20个机构，在入选的数千个机构中定位某一特定机构非常困难)，但无法对不同高校同一学科的强弱进行比较，也无法对某一高校不同学科在全球的地位进行比较，更无法对各高校尚未入选的学科中哪个或哪些学科最有可能入选ESI进行预测。ESI与InCites结合，能够对不同高校各学科优势值进行计算，从而实现了不同高校不同学科完全定量分析和比较。根据学科优势值是否≥1可以很方便确定哪些高校的哪些学科入选了ESI；根据学科优势值与1的差距大小，预测某高校近期哪个(哪些)学科最有可能入选ESI，从而为各高校优化资源配制、科学制定科技发展规划提供必要的依据。

3.2　ESI与InCites结合进行科研绩效评价的局限性

(1)无法对所有的高校进行评价和预测。ESI机构(高校)入选的条件，是该机构某学科所有论文被引次数居全球该学科前1%。而InCites入选机构尚无明确标准，原则上优先选入各国家和地区实力较强的和正式提出申请的机构。目前，中国大陆地区入选该数据库的机构有300余个。因此，无论是ESI还是InCites，入选的机构(高校)数量都是极其有限的，无法对所有高校科研绩效和学科发展水平进行分析、评价和预测。

(2)InCites数据库提供了各高校不同学科论文标准化被引次数，对各高校不同学科的分析和评价较为客观、准确，而对入选ESI数据库的学科预测可能存在较小的误差。误差的主要原因是ESI和InCites数据更新周期不同，ESI每两个月更新1次，而InCites数据库每年更新1次，如果选择评价周期的时间接点不一致，预测入选ESI的学科将会产生一定的误差。

参考文献：

[1]朱建育，赵红军，方曦.基于面板数据模型的上海高校科研绩效评价的实证研究[J].研究与发展管理，2013,25(2)：115-119.

[2]LIN MH，HWANG SJ，HWANG IH，CHEN YC.Family medicine publications in Taiwan：an analysis of the Web of Science database from 1993 to 2012[J].Journal of the Chinese medical association，2014,77(11):583-588.

[3]KULKARNI AV，AZIZ B，SHAMS I，BUSSE JW.Comparisons of citations in Web of Science，Scopus，and Google Scholar for articles published in general medical journals[J].JAMA，2009，302:1092-1096.

[4]CHUANG K-Y，WANG M-H，HO Y-S.High-impact papers presented in the subject category of water resources in the Essential Science Indicators database of the institute for scientific information[J].Scientometrics，2011，87(3):551-562.

[5]叶鹰.基于ISI-ESI引文数据的信息计量分析——中国引文数进入世界前5位的定量考察[J].情报学报，2007，26(5)：710-716.

[6]CSAJBK E，BERHIDI A，VASAS L，SCHUBERT A.Hirsch-index for countries based on Essential Science Indicators data[J].Scientometrics，2007，73(1):91-117.

[7]刘雪立.一个新的引文分析工具——InCites 数据库及其文献计量学指标的应用[J].中国科技期刊研究，2013，24(2)：277-281.

[8]李茂茂，张子倩，陈仕吉，左文革.基于ESI的中国农业大学植物与动物科学学科竞争力分析[J].科技管理研究，2012(8)：128-132.

[9]邱均平，杨瑞仙.基于ESI数据库的材料科学领域文献计量分析研究[J].情报科学，2010，28(8)：1121-1126.

[10]邱均平，杨瑞仙.基于ESI的学科热门论文的计量研究：以临床医学学科为例[J].情报科学，2010，28(1)：53-60

[11]杜建，张玢，王敏，等.基于学科基线的医学科研人员论文影响力评价[J].科学学研究，2012，30(8)：1149-1156.

[12]岳洪江.中国学科结构动态绩效的国际比较及预测[J].科学学研究，2008，26(3)：530-538.

[13]BORNMANN L，LEYDESDORFF L.Macro-indicators of citation impacts of six prolific countries：InCites data and the statistical significance of trends[J].PLoS one，2013，8(2):e56768.

[14]BORNMANN L，LEYDESDORFF L.The validation of(advanced)bibliometric indicators through peer assessments：a comparative study using data from InCites and F1000[J].Journal of informetrics,2013，7(2):286-291.

[15]董政娥，陈惠兰.基于ESI和InCites数据库的东华大学学科发展预测[J].东华大学学报：自然科学版，2013，39(5)：689-694.

(责任编辑　沈蓉)

Studies on Performance Evaluation and Prediction for the Disciplinary Building-up of China C9 Universities：An Analysis Based on ESI and InCites

Liu Xueli1，Zhou Jing2，Gai Shuangshuang2

(1.Periodicals Publishing House of Xinxiang Medical University，Xinxiang 453003，China;2.Management School of Xinxiang Medical University，Xinxiang 453003，China)

Abstract：The evaluating and predicting methods of disciplinary building-up and development of domestic C9 universities based on Essential Science Indicators(ESI)and InCites databases were introduced in detail.Based on a simple mathematical model，we calculated the disciplinary preponderance values of 22 subjects for nine C9 universities.Based on the size of the disciplinary preponderance values，we judged discipline selected in ESI，the results were consistent with the actual disciplines selected in ESI.The prediction that will be selected into ESI recently were carried out.Based on the distribution of probabilities of C9 universities subjects selected into ESI，the current situation of disciplinary building-up and development of domestic C9 universities were evaluated.

Key words：Essential Science Indicators；InCites database；C9 university；Scientific research performance evaluation

基金项目：河南省高等学校哲学社会科学基础研究重大项目(2015-JCZD013)。

收稿日期：2015-09-30

作者简介：刘雪立(1965-)，男，河南计昌人，教授/编审，硕士生导师，新乡医学院期刊社社长，河南省科技期刊研究中心主任；研究方向：科学计量学与科学评价，文献计量学与期刊评价。

中图分类号：G301

文献标识码：A