大数据在高校中的应用研究

　　大数据在高校中的典型应用

　　很多高校正在使用大数据分析技术解决遇到的实际问题，如美国德克萨斯大学利用大数据技术分析学校用户IT 使用行为产生的数据，确定用户行为异常，审计IT 基础环境，制定安全防护措施。其他的一些应用场景包括分析学生参与网络课堂产生的数据，进而确定如何改进课程讲述方式，达到因材施教的教育目标。

　　高校可以在就业情况分析、学习行为分析、学科规划、心理咨询、校友联络等方面借助大数据分析技术，挖掘数据中潜在的价值。

　　就业情况分析

　　当前市场经济高速发展、高校不断扩招、就业制度改革不断深化和毕业生数量逐年增加、社会整体就业形势日益严峻，大学生就业问题己经越来越成为目前大家共同关心的话题，研究大学生就业问题具有紧迫性和重要性。本文提出在大数据分析框架下的就业问题分析思路。

　　1. 数据来源

　　传统的就业分析一般从就业单位、就业地区、所在院系专业、性别、签约类别、就业年份等维度来分析，得到的只是一般意义上的统计结果，对于指导单个学生的就业以及预测未来的就业情况发挥的作用比较有限。应用大数据分析技术，就可以将学生就业模型涉及到的学习情况、社团信息、生活信息、校外实习、参加的竞赛及获奖情况、所投公司当年的招聘计划、历届学生在所投公司的表现等众多的信息进行收集。以上海财经大学为例，可以从图1 所示的各类系统中抽取学生的各类信息，构成就业分析模型所需的各类数据。

　　2. 数据抽取与存储

　　针对数据来源的不同，我们采取不同的数据抽取方式，对于结构良好的各信息系统的数据，我们采用ETL 工具如InformaticaPowercenter、Kettle 将数据抽取到HBase 数据库中；对于Web 网页这类非结构化数据，通过Nutch 进行抓取，Solr 对数据进行索引后存储到Hbase 数据库中，示意图如图2 所示。Hbase 数据库是一个开源的高可靠性、高性能、可伸缩、并非建立在关系模型基础上的分布式数据库，用以存储大规模结构化数据。