|
问：我发现人大经济论坛越来越有意思了，如何关注？ 答：请点击上方的【人大经济论坛】即可。另，如果您觉得我们的话题有意思，欢迎转载分享，并可以与我们互动讨论，谢谢！ 【论坛君】 学术评价越来越依赖量化指标，用量化指标作为评价依据比同行评价似乎更客观，但学术评价不存在绝对可靠的量化指标，例如被引用次数评价学术论文只是代表研究热度，绝对不等价于研究水平。也就是说使用量化研究分析需要注意十大原则，比如定量评估服务于专家评估，不能取而代之。希望这篇文章让每个研究者都在此获益！ 随着科学研究规模的增加，学术评价这个难题越来越难，但又是一个必须进行的工作，因为ZF、研究机构、基金资助机构和学者个人都对学术评价有需求。过去对学术评价几乎全部依赖于同行，因为没有其他值得依赖的指标，但是现在情况发生了改变，学术评价越来越依赖量化指标。 用量化指标作为评价依据比同行评价似乎更客观，但学术评价不存在绝对可靠的量化指标，例如被引用次数评价学术论文只是代表研究热度，绝对不等价于研究水平。临床上对某病没有特效药的结果就是有许多药可供选择，学术评价的量化指标越来越多，根本原因就是没有一个能完全胜任。一味药不行，只能采用复方和联合用药了。这些学术评价的量化指标并不具有普遍适用性，虽然设置目的和出发点一般是健康和积极的，但往往被错误或不当使用。例如关于杂志影响因子，确实是判断学术期刊水平的一个重要参考指标，但许多学术机构，尤其是中国的大部分学术机构，将影响因子作为论文水平的标准，甚至是唯一标准。这显然十分荒唐。一篇论文发表在哪个杂志上，有许多偶然因素，杂志的水平确实有高低，在粗线条上有可比性。一般来说，高端杂志上发表论文数量是国际上认可的学术水平重要参考标准，比如你能靠实力在CNS上发表10多篇某一领域的论著，你的学术水平可说是不言而喻。但杂志的影响因子绝对不是学术水平的准确代表值，论文发表杂志影响因子只能作为一个学术水平的重要参考，即使是相对准确该文章被引用次数，仍然不能代表研究水平。 《自然》一篇文章最近再次讨论了这个问题，并将学术量化评价的大致历史进行了回顾。 2000年以前只有美国科学信息研究所提供的科学引文索引SCI光盘版被一些专业人员使用进行文献计量分析。2002年汤森路透公司启用了SCI网络版，使这种工具的使用更方便。其他一些公司也相继建立了自己的类似学术评价平台，例如爱思唯尔2004年开始用Scopus，谷歌学术β版2004年开始用。这些都是基于文献引用作为基本指标的评价工具，不同的是收录的文献范围不同。SCI只分析被SCI收录的文献被其他SCI收录文献引用的情况，如果一篇文章被非SCI收录的文献引用，该系统就视而不见。Scopus的收录范围更大一些，但也是局限于其收录范围内。谷歌学术β版就毫无限制，只要有引用，全部统计。从全面性上看，谷歌学术最好，SCI最差；从准确度上看，谷歌学术最差，SCI最好；从时效性上看，谷歌学术最好，SCI最差。 也有利用网络数据比较各个学术机构的学术产出和影响力，例如基于SCI数据的InCites和基于Scopus的SciVal，也有利用谷歌数据的个人引用分析软件如2007年发布的Publish or Perish。 2005年，加州大学圣地亚哥分校物理学家Jorge Hirsch提出h-index，又称为h指数或h因子，是利用全部发表论文被引用的排序计算出的个人学术影响力指标。h代表“高引用次数”（high citations），一名科研人员的h指数是指他至多有h篇论文分别被引用了至少h次。h指数能够比较准确地反映一个人的学术成就。一个人的h指数越高，则表明他的论文影响力越大。例如，某人的h指数是20，这表示他已发表的论文中，每篇被引用了至少20次的论文总共有20篇。要确定一个人的h指数非常容易，到SCI网站（其他数据库也可以，会得出不同的数值），先查出某个人发表的所有SCI论文，按被引次数排序，往下核对，直到某篇论文的序号大于该论文被引次数，那个序号减去1就是h指数。而期刊影响因子引起关注的时间是起自1995年。可以这么说，h指数是个人学术影响力的判断指标，影响因子是期刊的影响力指标。 后来，随着社交网络评价的出现，2002年的F1000Prime，2008年的Mendeley，2011年的Altmetric.com（Altmetric是自然集团母公司Macmillan Science andEducation资助的）。 文献计量学家、社会科学家和学术管理机构，已经注意到现在对学术评价量化指标被滥用的情况。例如，一些大学排行榜如上海大学排行榜的和泰晤士报大学排行榜，甚至这些所谓排行榜采用一些不准确的数据和滥用指标。 一些招聘人员要求申请者提供h-index，许多大学对招聘岗位对受聘人员的h-index分值和高影响杂志论文数量都设定了标准。许多科学家也在自己的简历中以显著位置显示自己的h-index分值和高影响杂志论文数量，在生物医学领域这种情况最流行。导师让博士生去发表高影响期刊，因为这是他们将来混学术江湖的最好说明书。 斯堪的那维亚和中国的一些大学分配研究经费或奖金只根据一个数字，就是发表学术期刊的影响因子。 许多情况下，同行评议仍然发挥重要作用，但是滥用量化指标的现象已经变的非常普遍祖哲和恶劣。 文章后面提供了2014年在莱顿科学和技术指标会议上提出的莱顿宣言中的科学计量10条原则。 http://www./news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351
Ten principles( 参考刘立老师的博文) 原则1：定量评估服务于专家评估，不能取而代之。 原则2：对科研机构、科研团队和科研工作者的评估，应参照当初定的愿景和目标。 原则3：重视本国语言发表的论文。 原则4：评估中使用的数据采集、分析过程，必须开放、透明和简便易行，不能搞黑箱操作，语言应简单易懂。 原则5：允许被评估者复查评估数据和过程。 原则6：充分考虑不同领域、不同学科在发表和引用等方面的巨大差异。 比如，生命科学领域的期刊和论文的引用量和影响因子比数学领域高出很多倍。又，某些领域如历史学，传统上看重出版专著，而不是发表论文。但某欧洲大学采用SSCI论文进行历史系进行评估，结果他们杯摧了，被关停并转，并入了心理学系。 原则7：对科研工作者评估，以定性评估为基础；对不同科研生涯阶段的科研工作者要区别对待，不能一刀切。 原则8：要避免滥用评估指标的可操作性具体性（如引用数）和虚假的精确性（如影响因子）。 原则9：要认识到评估指标和评估体系可能对大学和科研机构带来的系统效应，即上有政策下有对策现象。 比如，澳大利亚1990年代，主要依据大学发表的论文数量给予资助，2000年，相当于每篇论文给480美元资助；结果，后来澳大利亚大学的论文数量急剧上升，但其中很多论文都是发表在引用率很低的期刊上。这意味着在该评估体系下澳大利亚大学的论文质量下降了。 原则10：要时常检视评估指标体系存在的问题，并加以改进。 比如澳大利亚，2010年发现原来评估体系的问题，引入了重论文质量而轻数量的卓越科研评价体系。 本文来源：科学网孙学军老师的教研博客 【结束语】感谢作者，感谢您的阅读。人大经济论坛目前已成为国内最大的经管人互动社区，这里有近600万用户和数千万好贴，以及海量的各种资源与大家共享。真诚邀请你到论坛上来与我们互动，等你哦，赶紧戳这里：http://bbs./，你会发现更多精彩。
|
|
|
