|
学生评价是教育评价改革的重要任务之一，利用大数据、人工智能等现代信息技术探索开展大学生学习全过程、全要素评价是新时代教育评价改革的明确要求。2020年中共中央、国务院印发《深化新时代教育评价改革总体方案》，将改革学生评价作为重点任务之一，该方案明确提出要关注和强化过程性评价、探索增值评价，健全综合评价体系。 在中国知网核心期刊数据库以“大学生综合素质评价”为关键词进行文献检索，查询到1998年至2022年间发表的论文31篇。从趋势看，我国大学生综合素质评价研究与高等教育领域素质教育改革步伐基本同步。1998年至2008为起步阶段，平均每年有1篇核心期刊论文；2009年至2015年为发展阶段，平均每年有3篇文章；2016年至今逐渐回落，每年约有1篇论文。 我国大学生综合素质评价研究经过20多年探索，评价体系一级指标主要从思想道德、专业技能、人文素养、身心健康等4~5个方面展开，二级或三级指标则会根据不同时期人才培养规格要求，数据基础和研究关注点变化有所调整。分析方法主要以层次分析、多元统计分析和神经网络为主，采用大数据和人工智能技术的综合素质评价方法和工具研究还处于起步阶段。 大数据思维下的评价指标体系 传统的综合素质评价体系构建方法会根据评价目标和原则自上而下展开，这样的体系架构与后续使用的统计分析方法和工具密切相关。 随着大数据和人工智能技术的不断发展，数据分析思维方式发生了深刻变化，呈现出三个重要特征：第一，不再是抽样分析而是强调全量数据；第二，不再强调数据精确性而是允许数据容错混杂；第三，不再突出因果关系而是注重相关性。 因此，此次设计大学生综合素质评价框架时遵循了“能收尽收”的原则，纵向覆盖学生从招生录取到毕业的四年学习生活全过程，横向包括学生第一课堂、第二课堂、课外研学、实习实践、社团活动、获奖情况等环节产生的所有数据，具体评价体系和数据值见表1。 表1 大数据思维下大学生综合素质评价指标体系 (上下滑动查看完整表格) 智能化评价分析平台框架结构 大学生综合素质评价智能化分析平台主要功能是利用大数据和人工智能技术，从各类学生相关信息系统或其他外部系统数据库中抽取/转换/装载数据(ETL)，根据大学生综合素质评价体系建立专门的数据仓库，利用聚类、决策树、逻辑回归、主成份分析和人工神经网络等算法和分析工具开展综合素质评价研究，最后借助可视化技术展示分析结果,为决策提供支持。 分析平台从招生、教学、学生管理、国际化、就业、图书馆、一卡通等业务系统收集学生数据，对学生个人敏感信息进行脱敏处理后按照大学生综合素质评价指标体系一级指标和二级指标的定义进行再加工，根据数据仓库建模原则构建数据模型，提供数据查询、导出、导入功能和API接口，实现与R-Studio、STATA、Tableau等数据分析工具对接，根据业务需求进行分析和展示。大学生综合素质评价分析平台框架结构如图1所示。  图1 大学生综合素质评价分析平台框架结构 平台目前收集S大学2014~2017级本科学生，合计6420人。通过数据探索性分析发现，有199名学生4年期间学习成绩信息不完整，疑似中途流失或自动放弃学业，另有5名高水平运动员和25名学生参军入伍。因此，将上述229名学生做了标记不进行分析，剩余学生人数6191人。 平台采集第一课堂成绩信息46万多条，涉及课程门数1622门。根据课程内容将课程划分为思政类、数学类、外语类、体育类、计算机类、专业类和其他共七大类课程，其中前六类课程记录数22万多条，占全部课程修读记录的47.3%。 各类实习实践活动15000多人次，平均每位学生2~3次。各类获奖记录9800多人次，3183名学生（51.4%）至少有一条获奖记录，获奖类型包括国家级奖学金和社会奖学金、优秀学生干部、创新创业和社会实践获奖、数学外语类竞赛获奖、文体类获奖和其他类型奖项。图书借阅记录近10万条，有近60%学生借阅图书总次数不超过10次，另有33%的学生借阅图书总次数在10~50次之间。搜集到登录信息系统的信息400多万条，一卡通消费数据3000多万条。学生部分自然属性和招生录取信息分布情况见表2。 表2 部分自然属性和招生录取信息分布
本研究借鉴部分高校新生专业分流时所采用的归一化办法进行处理，将刚好达到本校在当地录取线的考生视作同一水平（60分），将达到或超过北京大学、清华大学在当地录取线最大值的考生也视作同一水平（100分）。计算公式如下：  其中，X为学生高考成绩，X0为本校在当地的录取分数线，X1为北京大学或清华大学在当地录取线的最大值（max）。 数据分析与可视化应用 大学生综合素质聚类分析 将大学生综合素质评价体系中六大类学科课程成绩、课外研学、课外实践、获奖情况五种指标代入Kmeans算法模型中利用R语言提供的factoextra和cluster包进行聚类。 聚类结果显示cluster1有1731人，他们在学科课程成绩方面表现良好，但是在社会实践、奖学金和课外研学方面得分较低。cluster2有1356人，在学科成绩、社会实践、奖学金和课外研学四个方面表现都很好。cluster3有2159人，学科成绩一般，但是在社会实践和课外研学方面比较积极。cluster4有945人，在四个方面中都表现得差强人意。 大学生综合素质序列对比 借鉴生物信息序列对比思路，本研究将大学生综合素质体系中38个二级标签按照A/B/C/D等级进行标注，构建大学生综合素质序列，序列和片段结构如图2所示。  图2 大学生综合素质评价序列和片段 在R语言环境中使用ggmsa对C省2016级34名本科生综合素质序列进行对比和可视化分析，结果如图3所示，34名学生投档等级主要为C/D类。 毕业去向为保送或出国的学生学科成绩和学期成绩主要是A/B等，考取升学学生学科成绩和学期成绩基本上以B为主。选择签约就业的学生成绩以B/C为主，选择暂不就业学生成绩呈现多样性，有成绩较好但是升学不成功而选择暂缓就业的学生，也有确实因为成绩较差就业困难的情况。  图3 C省2016级学生综合素质评价序列可视化 在社会实践方面，多数同学为A/B档，表明参加过1~2次社会实践活动，奖学金集中度比较高，34名学生中有8名曾经获得过奖学金。 同时，通过登录系统时间观察学生作息习惯，发现多数学生都有晚睡习惯，晚上10点后还登录信息系统的情况普遍。在图书借阅方面，三分之一学生借阅图书的等级为A/B，表明他们四年期间借阅图书总数小于10本，另有约三分之二的学生借阅图书的等级为C（10~50本），只有一位同学借阅图书等级为D（超过50本）。 不同地区学生综合素质对比 图4展示了从生源地角度分析学生群体综合素质的差异。以2016级华北地区和西南地区学生为例，华北五省市（北京、天津、河北、山西和内蒙古）和西南五省市（四川、重庆、云南、贵州和西藏）在校本科生人数相当。 从投档成绩人数分布看，华北地区学生指标更好，A档比例高出西南地区3%，D档比西南地区少3%。从六类课程成绩看，西南地区学生在德育、数学、体育、专业四类课程中表现优于华北地区学生，在语言类和计算机类课程方面两个地区学生表现差异不大。 在奖学金和学科竞赛获奖方面，华北地区学生表现更优，海外学习经历比例显著高于西南地区学生。从毕业去向看，西南地区学生保送直升比例高，华北地区学生更倾向于出国留学，同时暂缓就业的比例也相对较高。此功能可以比较不同年级、地区和学院之间，学生群体综合素质差异。  图4 不同地区学生综合素质对比 学生个体综合素质画像 从学生个体评价视角，可以对学生在校期间的表现进行画像，评价内容包括修读的课程门数、总学分、评价绩点。从纵向角度考察学生8个学期成绩绩点，与本学院同年级同学评价绩点之间的差异； 从横向角度考察学生在德育、数学、英语、体育、经济管理和计算机等6类课程的成绩绩点，以及与本学院、本年级同学绩点之间的差距。同时，可观察学生成绩最好的五门课程和成绩最差的五门课程情况，以及考察学生参加课外活动、获得奖学金和日常作息情况。另外，可以加入观测的内容还包括图书借阅情况、一卡通消费情况和文明宿舍评选结果等。 结果讨论和未来工作 本研究以建立大学生综合素质评价体系和智能化分析平台为目标，通过分析归纳现有大学生综合素质评价相关文献资料，结合高校人才培养规律和大数据思维制定了大学生综合素质评价指标体系，构建包含10个一级指标和38个二级指标的大学生综合素质评价体系和数据仓库。 研究提出了包括指标体系层、数据实践层和数据可视化层在内的大学生综合素质评价智能分析平台框架结构，对利用大数据和人工智能技术开展大学生综合素质评价进行了探索，并利用现有2014~2017四个年级全样本数据进行了可行性验证。 本研究主要基于学校现有信息系统搜集数据，在学生无感知情况下对其大学在校四年的综合表现进行评价。但对大学生综合素质进行科学和准确评价具有复杂性，主要表现在如何制定科学、准确的评价指标，如何有效验证评价过程和结果，如何建立评价结果和教育教学改进的反馈机制等问题。 此外，在增值性评价方面，分析结果可以展现学生在大学期间的表现变化和波动，但是由于缺乏其他兄弟院校数据对比，所以还无法判断高中毕业时水平相当的学生在不同大学学习后，能力提升值是否存在差异。正如著名教育评价专家斯塔夫尔比姆的观点，“评价最重要的意图不是为了证明，而是为了改进。”因此，我们需要客观、理智地看待综合素质评价及其功能，回归教育本源，让综合素质评价着眼学生长远发展，真正做到让学生受益，以评价促进发展。 作者：傅川（上海财经大学信息化办公室） |
|
|
