分享

GRE成绩跟学生将来的学术产出无关

 解螺旋 2020-08-27


作者:麦子(转载请注明:解螺旋·医生科研助手)

对留学有点了解的同学大都知道GRE,它是现行的美国研究生入学考试,大概可以看作美国考研吧,但全球大多高校都选用这个考试成绩作为录用的参考之一,另一方面一般还要看本科的GPA,都是广泛采用的客观量化指标。

但其实,GRE诞生于上世纪40年代,现在已经略显沧桑,它对学生能力的评估价值已经饱受争议。尤其是2014年有一份发在《Nature》上的报告指出,GRE对一些弱势群体(比如女性、少数民族、经济条件较差的学生)的评估其实是不利的,会低估他们的能力,影响他们入学,也就是限制了科研领域的人才流入。

无独有偶,近期在PLoS One上也出现了两份报告,分别来自北卡罗莱纳大学(UNC)和范德堡大学。研究人员调查了本校最近获得生物和生物医学博士学位的学生的科研成绩,发现无论是当初的GRE还是GPA,跟他们后来发表的一作文章数量都没啥关系

而且,在范德堡大学的调查中还发现,它们对学术产出的其他量化指标也没有预测意义,比如做会议报告的次数、独立获得的基金资助、奖学金等,甚或学生在一个课题中取得的进步。UNC的研究还发现,尽管所有学生在申请之前多多少少都参加过一点研究,但那些研究经历的时间多长,跟后来发文数量也没多大关系。


PLoS One. 12(1):e0169121.来自UNC。2008-2010年间入学的学生根据发表的一作文章数量分组,3+表示≥3篇一作文章;1–2表示1-2篇;0+表示0篇一作,但有至少一篇共同作者;0就是0啦。纵坐标分别为:(A) GRE数学(Quantitative)成绩;(B) GRE语文(Verbal)成绩;(C)GRE写作(Writing)成绩;(D) 本科GPA;(E)入学前研究经历(月)。每个点代表一位学生,横线和误差线分别表示平均值和标准差。采用Kruskal-Wallis检验比较各组差异,A~E的P值分别为0.3251、0.6165、0.8460、0.7625和0.9896。


PLoS ONE 12(1):e0166742. 来自范德堡大学。对其他录取参考指标做了控制之后,GRE各科目分数与各项成绩评价指标的标准回归系数。每个模型都纳入了队列效应。柱形缺失者即系数为0。*p < 0.05. **p < 0.01. ***p< 0.001。显然,只有第一学期的成绩和毕业时的总GPA跟入学时的GRE有相关性,所以考试成绩还是只能预测考试成绩。而是否能拿到PhD学位、是否通过质量考核、答辩(完成课题)的时间、会议报告次数、一作文章数、独立基金资助或奖学金都和GRE各科目的分数没有相关性。

推荐信的神秘力量

好了,如果GRE和GPA不能有效评估学生的研究潜力、预测其将来的学术成就,那么导师们到底要录取什么样的学生?

有一个小小的线索。在UNC的调查中,有封强势推荐信的学生最后发了更多的一作文章,而推荐信比较弱的学生在研究生期间则表现中等,甚至一篇都没发。UNC的录取政策要求提供3封推荐信,并提供“Exceptional”,“Outstanding”,“VeryGood”,“Average”,和“BelowAverage”这5个备选描述词,分别赋值为1~5分(即Exceptional=1,Below Average=5,分数越低表示推荐力度越强)。


PLoS One. 12(1):e0169121.来自UNC。学生仍按发表的一作文章数分组。(A)各组学生的三封推荐信的平均分分布情况。(B)为了评估推荐力度大的学生是否有更多的学术产出,把图A的纵横坐标调换,以三封推荐信的平均分分组。(C)和推荐信类似的指标,学校评审完申请材料会邀请一批学生进入复试,有个30min的一对一面试,面试官对学生的表现除了给出一些文字描述外还有评级(1 = most enthusiastic, 4 = least enthusiastic),横坐标还是发表的一作文章数。(D)像图B一样把纵横坐标对调。仍然用Kruskal-Wallis检验比较各组差异,A~D的P值分别为0.0060、0.0050、0.3459和0.3072。两两比较采用Dunn’s检验(* p < 0.05, ** p < 0.01)。四幅图汇成简单粗暴的一句话:推荐信评分有用,面试评分没用。

这个有点诡异,因为明明考试分数在我们印象中是“客观”的指标,而推荐信却或多或少带有主观色彩,为什么推荐信反而对学生将来的学术产出反而更有预测意义?更诡异的是,明明推荐信来自老东家,只代表学生过去的成就而已,面试官的评价应该更接近学生求学时的状态,为什么面试官的评价反而不准了?莫非推荐信是个玄学……

加州大学旧金山分校的生物化学和生物物理学教授Orion Weiner也在研究录取标准,他说如果推荐信里详细说明了该生在参加过的课题中的供献,那是非常有用的。Weiner的研究跟那两份新的报告一致,他也发现GRE分数和本科的GPA并不能区分研究生成绩的优劣,他相信GRE是没啥卵用的。但各研究生院录取时还是要用这两项指标,因为全面评估学生的能力,这是要花很多时间和精力的。他会用GPA给申请人分级,但如果申请人GPA比较低却有某些方面很出众的话,他仍然会考虑。

洛克菲索大学的神经遗传学和行为学教授Leslie Vosshall还在Twitter上发起了一个关于GRE的讨论,她也同意这一点,由于有报告指出GRE的偏倚,所以她招人从来不考虑GRE。GPA也一样没用,因为各本科院校的考核系统是不一样的。

芝加哥大学的心理学教授Leslie Kay也参加了那个Twitter讨论,她会考虑GPA,因为她认为做一名优秀的学习者跟做一名优秀的研究者一样重要。她和Weiner一样,不觉得GPA低就表示学生完全没有优点;不过她会以GRE分数互为参考,如果两者都低,那活该沦为万年备胎。


Leslie Vosshall的Twitter上相关的讨论

要注意的一点是,发表文章的记录,尤其是一作文章数,作为学术产出的评价指标也是有瑕疵的:它跟导师和课题的内在特性有关,再说数量也不反映文章质量。只不过,范德堡那篇报告的通讯作者Roger Chalkley说,由于它是客观存在的且便于量化,所以作为短期评价也有一定帮助。而且,UNC报告的一作Joshua Hall说,毕业本身就要求至少1篇一作文章,所以评价一下学生的学术产出是否达到期望也是有用的。

但这两份调查和Weiner的研究都有一个共同的小bug,即只调查了本校已录取的学生,也就是说,他们的数据本身就是有GPA和GRE的下限值的,大多数学生的本科GPA都高过3.0(满分是4.0),GRE也在全国平均水平之上。所以,在某个分数线以下,学生GRE或GPA分数跟学术产出有没有关系,则无法在他们的研究体现。

总之,GRE和GPA分数高的大学生将来不一定会成为好的研究生,似乎是“高分低能论”的一个佐证。Vosshall就是个栗子,她说她申请研究生的时候,本科阶段的研究经历就很活跃,然后GRE成绩中等,GPA是3.5,当时还有几门理科课程的成绩只拿了C。现在她已经是教授了。她说“我挺好的啊。”


那么问题来了,国内考研考博的成绩跟后来的学术产出有没有关系,谁能做个调查看看~.~如果最后得出考研无用论,那就神了。所以最后,如果打算去留学,那么跟导师搞好关系、让他看到你的劳动付出才是王道。

参考资料:

  1. Student performance measuresthat don’t perform

  2. A test that fails

  3. The Limitations of the GRE inPredicting Success in Biomedical Graduate School

  4. Predictors of StudentProductivity in Biomedical Graduate School Applications

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多