|
本文由《现代教育技术》杂志授权发布 作者：李振超、陈琳、郑旭东
摘要
关键词：大数据；数字化学习；发展性评价；系统设计；教育信息化 发展性教育评价制度是在对奖惩性教师评价反思与批判的基础上，最早于上世纪80年代初期，由英国开放大学教育学院纳托尔和克利夫特等人倡导的[1]。作为一种新型的评价方式和理念，发展性评价是以学生的发展状况为评价内容，以促进学生的发展为评价目的，强调被评价者对评价过程的主动参与和自我反思能力的培养，并要求将整个学习过程纳入评价范围，以便对学生形成客观全面的评价。发展性学习评价可以显著改善当前数字化学习评价中存在的诸多弊端。发展性评价与数字化学习的结合是一种必然趋势和时代要求，但是二者在结合过程中又面临新的问题，即发展性评价强调将学习过程纳入评价范围，而在此过程中会产生大量的、类型复杂的数据，当前的数据处理方式在应对这些变化时显得力不从心。数字化学习与发展性评价的深入融合，迫切需要引入有效应对教育大数据的技术和方法。而数据挖掘、学习分析学、内容分析学等技术和学科的发展，已使“增量评价”、“进步评价”为特质的发展性评价，有了技术和方法的保障[2]。 一、大数据概述及对教育带来的变化 大数据一词出现于1997年，NASA研究人员Michael Cox和David Ellsworth第一次用该词描述上世纪90年代出现的数据方面的挑战，即超级计算机生成的巨大的信息数据量[3]。此后，大数据理念和技术不断发展，特别是随着通信和计算机行业的快速发展，其不仅受到研究者的广泛关注，更得到了政府和社会的青睐。2012年达沃斯世界经济论坛针对大数据发布相关报告，探讨新的数据产生方式下，如何更好地利用数据来产生良好的社会效益[4]。同年，美国政府启动“大数据发展计划”，试图利用大数据技术在科学研究、教育、国家安全、环境和生物医学研究等领域进行变革[5]。此外，知名咨询公司麦肯锡2011年也发布了关于大数据的详尽报告[6]。 关于大数据尚未形成统一的概念，但却有两个观点能够诠释大数据的本质。第一个观点来自于MervAdrian，指出“大数据超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力”。另一个观点来自于麦肯锡全球数据分析研究所发布的报告，指出“大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集”[7]。大数据时代的到来给教育带来了三个变化：一是思维的转变——从演绎转向归纳，在“去经验”的过程中找到真正影响教育的重要因素；二是信息真实性的凸显，让信息从可疑到可信，使研究者能够真正获悉真实的情况；三是使个性化教育具有了可能性，真正实现从群体到个体[8]。另外，大数据技术还能够提高教育管理、决策与评价的智慧性[9]。 二、大数据背景下数字化学习的发展性评价系统的特征分析 已有研究认为，基于发展性评价的数字化学习评价系统，如网络教学中的学习评价系统应支持过程信息的全面采集、支持自评与互评、支持多种反馈形式等[10]，结合大数据及数字化学习的特征，大数据背景下的数字化学习发展性评价系统应具备如下特征： 1、支持学习过程的全数据采集与存储 在当今数据为王的时代，数据成为重要的无形资本和关键因素。尤其是数字化学习条件下，既包括结构化数据，也包括以文本为代表的非结构化数据和以Web站点为代表的半结构化数据。当前对非结构化或半结构化数据较少涉及，而他们往往蕴藏着重要信息，如学习习惯、学习风格等。大数据时代的数字化学习分析必然要围绕数据进行运作，理想状态是能对所有信息进行采集，保障数据的全面性。另外，当前数据存储面临两方面的挑战，一是学习者在学习过程中产生大量数据，半结构化和非结构化数据所占的比重越来越大；二个是关系型数据库已不适合非结构化数据的存储，而非关系型数据库（NoSQL）存在读写实时性较差、无法满足复杂SQL操作，尤其是多表关联查询等不足[11]。因此，对二者进行有效整合是大数据背景下数据存储的必然要求。 2、支持测试类型的多样化 尽管发展性评价强调评价形式多元化，但测试作为一种重要的评价形式，仍具有无可替代的作用。通过测试能引导学习者对学习内容更深层次的思考，引导学习者运用所学解决现实问题，培养其创造性思维[12]。一般将测试题目分为客观性题目和主观性题目，前者具有标准唯一、易于处理等优点，适合考察客观知识的掌握情况；而后者有利于考察学习者的理解、运用、归纳等能力，对于培养和考察学生的创新思维和创新能力具有优势。由于主观性题目的主观性特点，很难进行智能化处理，通常由教师来完成，这就造成当前测试以客观性题目为主的不均衡现象。为此，发展性评价系统要尽可能增加主观性题目的比重，同时优化主观试题的处理方式，在保证评价效率的前提下减少教师的工作量，实现全面、有效的评价学习。 3、支持知识增长的可视化 可视化是信息时代数据处理与显示的必然趋势[13]。发展性评价注重学习者的发展，但发展是个抽象的概念，无法准确地衡量。而日益兴起的增值评价为知识增长的测量提供了新思路。发展性学习评价系统要引入增值评价的理论，即一定时期的学校教育对学生成长发展所带来的积极影响，增值评价就是对这种影响的评估[14]。此外，发展性学习评价系统的使用主体为学习者和教师，他们通常不具备分析知识增长的能力，所以需对知识增长量进行可视化处理，使抽象的学习过程有迹可循，进而形成对学习者知识增长的直观反映。对教师而言，知识增长的可视化便于个性化指导和干预；对学习者而言，可以直观地看到自己的进步，有利于认识自我、建立自信。 4、支持学习过程的及时督导 数字化学习脱离了教师的监控和约束，学习者容易在学习中“迷失”，督导机制是十分必要的。学习分析技术的兴起，其测量、收集、分析和报告有关学生及其学习环境数据有利于理解、优化学习及其产生的环境，为发展性学习评价系统提供了新的思路。发展性学习评价系统支持的及时督导要以学习者的学习过程数据为量化依据，通过对这些数据进行采集和分析，发现学习者潜在的问题与不足，并及时反馈给学习者，同时给予相应的改进和补救建议。 5、支持评价的个性化 发展性评价强调关注个体差异，支持评价的个性化。而大数据给教育带来的转变之一便是使个性化教育成为可能。发展性学习评价系统应为学习者提供可选择的多样性评价目标和评价指标，根据学习者的选择，动态生成个性化评价标准，进而实现对学习者进行个性化评价。 三、大数据理念下的数字化学习发展性评价系统设计 1、系统模型设计 在对现存问题及系统特征分析的基础上，构建了如图1所示的大数据理念下的数字化学习发展性评价系统模型。该系统由测评功能子系统、采集与存储子系统、分析子系统和反馈子系统构成。 （1）测评功能子系统 测评功能子系统包括讨论互动、学习契约、课前测试、过程测试、随堂记录卡、章节测试、教师评价、同学互评、期末测试等功能模块。学习契约是以学习者和教师共同商议的形式确定学习目标、学习进度、评价标准等，一方面为学习者提供一定的个性化选择，另一方面通过契约的形式对学习者形成激励和监督。课前测试对学习者已有知识基础进行测试，起到诊断性评价的作用，也可以将其作为确定学习协作（讨论互动）小组的依据，还可以与课后测试结果进行对比，确定学习者的知识增长量。过程测试在学习过程中进行，有利于及时发现学习者存在的问题和不足，便于及时调整和改善。随堂记录卡类似于自我评价功能，多以主观题目为主，要求学习者对学习过程进行总结和反思，有益于学习者自我反思和自我认知能力的培养。章节测试在章节结束时进行，主要考察学习者对已学内容的掌握情况，同时与课前测试和过程测试的结果汇总，挖掘章节的知识关联，为学习者推送个性化建议和资源。教师评价、同学互评和期末测试都在课程结束时进行，通过多样性的评价方式对学习者形成较为全面客观的评价。讨论互动贯穿于整个课程学习的始终，通过讨论互动，学习者与其他成员构成一个复杂的学习网络，在该网络体系中，学习者可以分享学习资源、交流学习心得，或对某一问题展开讨论交流，激发新的思维火花[15]。 （2）数据采集与存储子系统 数据采集与存储子系统主要包括四大部分：数据采集、数据清理、数据转换和数据混合存储系统。数据采集的质量和数量直接决定了数据分析的成效，所以应尽可能地从数据来源上保证其全面性。网络嗅探是数据采集的有效方式，其适合多用户、多Web站点的网络访问环境，且具有采集时间准确、不影响Web服务等特点，更重要的是采集的同时可以进行一部分过滤操作[16]。通过数据采集获取大量数据的同时，也带来了一些如广告、弹幕等的“垃圾数据”，有效过滤这些“垃圾信息”是数据清理的功能所在。数据转换主要是通过对数据进行适当转换方便数据的挖掘分析，典型的数据转换方法包括把符号变量转换为数值变量、重组分类变量等。数据存储是将数据保存到数据库，以防止数据丢失，也便于后续的挖掘分析，本系统采用关系型数据库与NoSQL数据库相结合的方式实现对数据进行混合存储，在该混合存储系统中，关系型数据库采用MySQL，而NoSQL则采用由Clinet、Zookeeper、HMaster、HRegionserver四部分构成的HBase。 （3）分析子系统 分析子系统是整个系统的核心部分，主要涉及两个数据库和三种数据处理技术。其中，两个数据库是指结果数据库和标准数据库——标准数据库是各种评价指标和评价标准的集合；结果数据库主要有三个来源：一是不需要处理的数据（如成绩、时长等），二是经过教育数据挖掘、社会网络分析和语义分析等技术处理得到的结果，三是直接与标准数据库中的标准进行对比得到的结果。三种数据处理技术即教育数据挖掘、社会网络分析和语义分析技术——教育数据挖掘主要用于发现知识关联，以便对学习者进行知识推荐；社会网络分析用于分析学习者在学习群体中的角色、关系、核心度等，从而判断学习者的积极性和交互程度；主观性测试题目一直是数字化学习评价的软肋，引入语义分析技术，以期对主观性试题进行语义识别分析，增加系统的智能性。 （4）反馈子系统 反馈子系统包括“三种反馈”和“一个可视化工具”。“三种反馈”即诊断性反馈、过程性反馈和终结性反馈——诊断性反馈在章节学习前进行，主要对学习契约和课前测试提供及时反馈；过程性反馈在学习过程中进行，主要对过程测试、章节测试、随堂记录卡、交流互动和学习行为活动提供及时反馈，同时对学习过程提供及时预警；终结性反馈在课程结束时进行，主要对同学互评、教师评价、期末测试等提供及时反馈。这三种反馈信息在反馈给学习者的同时也传递给教师，教师根据这些信息在必要时对学习者的学习活动给予及时干预。“一个可视化工具”即仪表盘，系统的反馈信息通过仪表盘的形式及时呈现给学习者和教师，便于学习者和教师对学习状况形成直观了解。值得注意的是，系统提供给两者的内容是不完全相同的。 2、系统工作流程 数字化学习的发展性评价系统的工作流程如图2所示。下面将结合学习者在课前、课中和课后三个阶段的学习过程进行分析说明。 （1）课前准备阶段 首先，教师通过目标预设模块，对课程学习目标、评价指标和试题集进行预设，其中一个学习目标对应若干评价指标，而一个评价指标对应一个试题集。预设的学习目标和评价指标在学习契约中以选项的形式呈现，学生根据自己的情况选择相应的学习目标和评价指标。其次，根据学生的个性选择，从对应的试题集中组合生成课前测试题，了解学生的知识基础，并给予及时反馈。最后，在课程目标选择相同的基础上，根据课前测试结果对学习者进行异质化分组。协作小组目的是对小组成员在学习过程中存在的疑问进行讨论互动，形成互帮互助的良好局面。 （2）课程学习阶段 学生的主要活动是课程学习及其相关活动，学习者在课程学习过程中的行为数据被记录，并存储于混合数据库系统中。其中结构化数据存储于MySQL，而半结构化或非结构化数据存储于HBase中，两个数据库通过建立有效的存储中间件系统来统一管理。在学习过程中系统给予过程测试，一方面可以了解学习者的当前学习状况，及时发现学习者存在的问题和不足，另一方面可以防止挂机等作弊行为的发生。在整个学习过程中，系统实时收集学习者的学习行为数据，随后将其与系统预设的阈值进行对比，当学习者的行为数据超出阈值范围时，系统及时给予相应的预警。讨论互动是课程学习的一项重要活动，当遇到一些问题和疑惑，可以在协作小组内进行讨论互动；如果小组内无法解决，将问题推荐到本课程讨论群中。 （3）课后阶段 首先，学习者要完成随堂记录卡的填写，对本节课的学习收获、目标完成状况及存在的不足进行总结，随后将这些数据与学习者的实际行为表现进行对比，测试其自我认知能力。接着，进行组内评价，即小组成员之间相互评价。随后，进行章节测试，系统根据学习者的个性化学习目标、课前测试和过程测试状况，遵循减少学习者负担的原则，只考察尚未完全掌握的内容，并提供三次测试机会。章节测试的功能之一是检验学习者的目标达成情况；功能之二是与课前测试进行对比，找出知识增量。期末测试则根据学习者的个性化学习目标进行全面考察。 在章节测试结束之后，对课前测试、过程测试和章节测试的结果进行汇总，使用关联分析方法对全体学习者的错题集进行数据挖掘，找到潜在的知识关联规则，并以此对学习者进行资源推荐。同时，一方面对小组讨论情况、发帖量、回帖量等指标进行简单统计分析，获得学习者的课程参与度；另一方面使用社会网络分析方法对学习过程中的交互关系进行分析，获得学习者的人际核心度。在此过程中将学习者的各项成绩、目标达成度、参与度、核心度、自我认知情况、组内评价、资源推荐等在仪表盘中以可视化的方式呈现给教师和学习者，教师综合学习者在整个学习过程中的表现进行评价，然后将教师评价添加到仪表盘中并呈现给学习者。 3、学习结果案例分析 所有的学习过程数据和学习结果数据被呈现在仪表盘中，通过对学生的横向和纵向比较来获得其发展状况。下面仅选取仪表盘中的目标达成度进行具体的解释。假设目标达成度情况如图3所示，则从图3可以得出如下结论：第二节的目标达成度与上节相比有所下降，但高于平均达成度，这可能是由于该节课的内容难度较大造成的，总的来说，该生仍然取得了不错的发展；第三节的目标达成度低于平均达成度，但高于上节，可见该生的发展趋势良好；第四节的目标达成度均低于前节和平均达成度，说明该生在本节课虽有所发展，但相对较慢，将该生本节课的学习行为分析结果传递给教师，必要时教师可进行适当的干预。 四、总结 基于大数据理念构建了数字化学习的发展性评价系统，该系统既支持大量数据的采集及存储，又体现了发展性评价所强调的过程性评价。此外，系统在评价内容、评价主体等方面体现了多元化评价思想。最后，将评价结果可视化，便于其对学习状况形成直观的了解。当然，所构建的数字化学习发展性评价系统还有待完善和补充，如该系统仍缺乏有效的评价指标体系作支撑，只能对系统内的行为进行记录，而对于跨网页浏览内容无法采集等，这些都有待于进一步的深入研究。不仅如此，教育已在由信息化走向智慧教育[17]，发展性学习评价系统如何支持智慧型课程发展[18][19]，如何促进智慧学习、促进人的智慧成长，其研究空间非常大。
|
|
|
