|
陈耀华1， 郑勤华1， 孙洪涛2， 陈 丽1 (1.北京师范大学 远程教育研究中心， 北京 100875; 2.中央民族大学 现代教育技术部， 北京 100081) [摘 要]
学习支持服务是影响在线教育质量的重要因素。教师作为学习支持服务的主要提供者，扮演着在线教育的重要角色。学习分析技术强调基于数据的学习描述、诊断、预测和干预，使得对学生学习过程的描绘成为可能，从而使我们可以通过对学生学习状态变化的衡量来判断和评价教师提供的学习支持服务的效果。本研究以教师的综合评价为目标。我们首先构建了教师综合评价的参考理论模型，包括促进度、投入度、联通度、认可度和调控度五个方面。其次，基于上述理论模型，我们实现了完整的算法构建。最后，我们在网络教育学院的实践中对该理论和算法模型进行了应用和验证。本研究为在线学习中对教师的综合测评提供了理论上的参考，为学习分析技术的实践应用提供了方法和思路上的借鉴。 [关键词] 学习分析技术; 教师综合评价参考模型; T-SERI; 教师评价 远程教育经典理论将在线教学分为“课程开发”和“学习支持服务”两个阶段。[1]在课程资源极大丰富的今天，如何提供优质的学习支持服务成为在线教学质量提升的关键所在。然而，随着在线教育规模不断扩大，学习支持服务的水平并没有得到同步提升。通过对国内代表性MOOCs平台的调查发现，近70%的课程中，教师没有参与和学习者的交互，学习支持服务流于形式。[2]学习者在这样的环境中很难获得好的学习体验，当遇到困难又无法获得帮助时往往就会半途而废，这也是造成MOOCs高辍学率的一个重要原因。[3]正如远程教育专家Gilly Salmon所言：“在线辅导成为在线教与学的关键。”而如何平衡规模与质量之间的矛盾，为学习者提供针对性的个性化学习支持服务，成为在线教育工作者亟待解决的一项难题。相当数量的MOOCs课程采用了同伴互评(Peer Assessment)的方法，试图弱化学习支持服务中教师所扮演的角色，通过学习者之间的交互来满足学习者对个性化服务的需求，但研究表明，采用同伴互评为主要评价方式的MOOCs课程学习者完成率往往低于采用其他评价方式的课程。[4][5]另外，已经有采用人工智能、自适应等技术，用机器来承担教师的一部分职责，为学生提供学习支持服务的尝试，但这些技术尚未成熟，难以进行大规模的推广应用。可以说，在线学习过程中教师所扮演的引导者、帮助者与促进者的角色短期内是其他任何方式无法完全替代的。 有鉴于此，建设一支分工明确的专业化教师队伍，对在线教学的可持续健康发展至关重要。在当前的在线教育机构中，课程开发的职责主要由教学设计人员、主讲教师和课程开发人员来承担，学习支持服务的工作则主要由辅导教师来执行，这些不同角色的成员组成了课程的教师团队，随着教师专业化程度的加深，教师团队的分工越来越明确，一人身兼多种角色的现象已经逐渐减少。以英国开放大学为例，其每门课程都构建了专门的教师团队，由专职学术人员(Staff Tutor)和兼职辅导教师(Associate Lecturer)构成，专职学术人员主要负责课程设计开发与资源建设，而兼职辅导教师负责对学生课程学习进行辅导，提供个性化学习支持服务。目前英国开放大学共聘任1200余名专职学术人员与7500余名兼职辅导教师，以此来保证在线教学的顺利进行，而辅导教师的数量也从一个侧面证明了这一角色的重要性。[6]与英国开放大学相类似，国内的网络教育学院与广播电视大学等在线教育机构大多设置了课程主管、教学设计人员、主讲教师、专职或兼职辅导教师等岗位。其中，由于辅导教师提供了大部分的学习支持服务，也占据了在线教学过程中与学习者接触和交互的绝大部分时间，可以认为在课程开发完毕之后，在教学中起主导作用的就是辅导教师，也基于此，本研究的评价主要集中在辅导教师的工作上。 与辅导教师越来越重要的地位并不相称的地方在于，对其工作的评价并没有得到应有的重视。当前在线教育机构对辅导教师的评价大多仍停留在简单的奖惩性评价，又或辅以学习者的主观满意度评价，对辅导教师的工作及其取得的效果缺乏客观合理的评价标准和方法。模糊的评价标准让辅导教师无所适从，不知如何去提升自己的教学质量和追求专业发展(尤其是在大量辅导教师是兼职工作的情况下);粗放的评价方法则无法真实反映辅导教师的实际工作状态，对教育管理和决策只能起到有限的参考作用。究其原因，一方面是由于对辅导教师工作的重要性认识不足，对评价重视程度不够;另一方面则是因为对在线教学的客观规律认识有所欠缺，“没有人确切地知道，在影响优秀学生的学习上，教师应扮演什么样的理想的角色”[7]，利用传统手段难以准确评估学习者学习过程中获得的进步究竟有几分是源于辅导教师的工作，从而也就很难去评价辅导教师的学习支持服务效果。 学习分析技术强调基于数据的学习描述、诊断、预测和干预，使得对学生学习过程的描绘成为可能，基于这种可能，方便我们及时监控教师进行辅导、反馈或干预后学生短期乃至中长期的学习状态变化情况，从而为评价辅导教师的学习支持服务效果提供了较为科学的依据，为当前处于混沌状态的辅导教师综合评价提供了一条新路。但目前来说，绝大多数研究与实践仅仅将学习分析技术用于评价学生，使用教学和学习的过程数据来对教师进行全面、系统建模评价的研究相对较少。因此，本研究尝试对教师进行综合建模，形成科学的具有操作性的评价维度框架，并且构建完整的模型算法，利用平台记录的教与学的行为数据实现自动化的参考性评价。 辅导教师综合评价参考模型的提出，主要依赖于文献调研和专家访谈。首先需要对辅导教师的角色与工作职责进行界定。对于辅导教师的角色定位，Berge将其分为四个维度，包括教学角色、社会角色、管理角色和技术角色四类。[8]该角色划分框架提出较早，也获得了较多学者的认同，后续大量对辅导教师的角色研究都可以视为是在Berge的辅导教师角色框架基础上的修订或对每个角色类型的细化。例如Goodyear等人将辅导教师的角色定位为过程促进者、咨询建议者、评价者、研究者、内容促进者、技术专家、设计者和管理者等八类;[9]翁朱华认为辅导教师以教学交往为核心，将其角色定位为教学交互者、支持服务者、学习评价者、技术应用者和组织管理者等五类。[10]故我们主要还是按照Berge的角色框架建立辅导教师的综合评价参考模型。对辅导教师的工作职责，Bawane和Spector按优先级从高到低将其依次分为教学、职业、评价、社会、技术、咨询、研究和管理，[11]李爽等人在此基础上对国内开放大学辅导教师主要职能进行研究，认为辅导教师的核心职能包括实施教学、评价学习和促进学习三项，另外准备教学、课程评价、提供支持服务与学习管理等工作则属于辅导教师的辅助职能。[12]依据这些具体的工作职责，我们确定模型相应的评价维度和细化指标。 由于评价主要针对的是辅导教师所提供的学习支持服务，因此评价模型的建立也参考了SERVQUAL服务质量通用评价模型。该模型由Parasuraman等人基于对银行、维修等行业的服务质量研究提出，从有形性、可靠性、响应性、保证性以及移情性等五个层面来评价服务质量。[13]该模型目前已经被各服务行业的管理者和研究者广泛接受和使用，在线教育领域也逐渐有学者开始用其来对学习支持服务的质量进行评价。考虑到该模型中的有形性维度指的是物理设施等硬件条件，体现于在线教育领域主要是针对平台、环境等方面的评价，这些并非辅导教师的主要服务职责，所以在构建综合评价参考模型时我们仅考虑了其他四个维度的对应性迁移。结合辅导教师角色定位、工作职责和SERVQUAL服务质量通用评价模型，我们初步构建了如下的六维度理论模型。 辅导教师的几大角色中，最关键的毫无疑问是教学角色。教学的最终目的是为了促进学生的知识和能力的提升，促进学习也是辅导教师的核心职能之一，因此我们引入促进度这一维度，从促进学生成长的角度来衡量辅导教师工作所取得的效果，这些成长可能包括学生获得的知识与能力，也可能涉及学生学习过程中行为方式的变化。另外，教师的教学投入是影响教学质量和教学效果的重要因素，一般来说，教师在时间、精力和情感上的投入与教学质量呈正相关。斯金纳等人研究发现，在课堂教学中教师投入对学生的学习投入会产生促进作用，[14]这一规律在在线教育领域同样适用，为此我们构建了投入度维度，对辅导教师教学工作的投入程度进行评价。 Berge认为，辅导教师社会性角色的主要职责是为学习者创设一个友好舒适的社会环境和氛围来开展学习活动。随着在线教育的发展，学习社会环境的内涵不断丰富，不仅包括基于教师、学习者、小组等构成的人际网络，也包括基于教学内容、教学资源以及各种媒介等构成的认知和概念网络。而教师的职责，也从创设社会环境，延伸到协助学习者建立连接，形成、维持社会化网络并且持续优化的过程。我们在构建模型时引入联通度这一维度，既对教师与学习者所形成的整个社会化联通网络进行评价，同时也评价教师作为这个网络中的关键节点所起的作用。 从辅导教师的管理角色出发，我们将其学习管理职能和学习评价职能进行归并，构建了认可度和调控度两个维度。随着在线教育的发展，辅导教师的教学方式已经不再仅仅局限于简单的知识讲解和答疑，大部分教师已经认识到工作重心需转向如何组织与引导各种在线互动活动，并通过小组学习、学习社区等方式来促进学习者的学习。认可度表征了辅导教师被学习者信任和认可的程度，这是对学生进行有效组织、管理和评价的前提，体现了SERVQUAL模型中的保证性与可靠性维度;而调控度则体现了SERVQUAL模型中的响应性与移情性，表征的是辅导教师帮助不同类型学生确立学习目标，并且对学习活动和学习过程进行反馈、组织与管理的及时性和有效性。 最后，基于辅导教师的技术角色，我们用技术帮助度来评价教师在学生学习过程中选择合适的技术媒体，提供相应的技术支持以及帮助学生解决特定技术问题的非学术性工作。 初步模型构建后，研究者邀请了在线教育、学习分析和教学评价领域的7位专家进行了半结构化访谈。专家访谈中提出，在当前在线教育的实际教学工作中，学生对技术方面的支持需求远小于其他几个维度，特别是在经过最初一两门课程的学习，对课程平台已经较为熟悉的情况下，学生技术方面的问题会大幅度的减少。李爽等人对开放大学辅导教师的能力需求调查也得出了类似的结论，即技术应用的整体重要性较低，是辅导教师的基本技能而不是核心技能。[15]因此，我们去除了技术帮助度这一维度，将其中的某些指标分解到其他维度中去。最终基于对在线教育辅导教师角色和工作职责的梳理，结合专家意见，提炼构建了教师综合评价参考模型，称为T-SERI模型(Teacher-Systematically Evaluation Reference Indicator)，如图1所示。 图1 教师综合评价参考模型 T-SERI模型由维度和指标构成，其中维度满足对教师的某方面评价需求，具有一定概括度和抽象层次，可能包含多个指标，指标则是对维度的具体分解。例如衡量教师教学投入的“投入度”维度，包括“导学投入”“助学投入”“促学投入”“情感投入”等一级指标，在“行为投入”指标下又包括“活跃度”“持续度”等二级指标。构成T-SERI模型的五个维度具体如下。 1. 促进度 衡量学生在实现教学目标的过程中取得的进步，以此为依据对辅导教师教学的有效性进行评价。 2. 投入度 从活跃性、持续性等方面对辅导教师的教学投入程度进行评价。对投入度的评价包括时间投入、行为投入以及情感投入等，体现教师对教学工作的态度和感情。 3. 联通度 对教师帮助学生建立、维持和优化的社会化人际网络和认知网络以及教师在形成的社会化网络的发展中所发挥的作用进行评价。交互是联通度评价核心，包括教师和学生的交互、教师和资源的交互等。 4. 认可度 通过学生在教师辅导、反馈或干预后的学习状态变化情况表征学生对辅导教师教学与管理工作的信赖程度。 5. 调控度 从及时性、个性化等方面对教师的学习活动的组织、学习小组的管理、学习步调的协调等方面的工作进行评价。 根据构建的辅导教师综合评价参考模型，接下来的工作就是依据现有训练数据构建出相应维度和指标的算法模型，期望实现对辅导教师的自动化参考评价。与理论模型从上而下，先确立维度，再分解到一级指标、二级指标的构建方式相反，算法模型的构建是先确定底层指标的计算方法，再经过自下往上一层层的聚合，获得更高层次指标和维度的算法，最终得到T-SERI的算法模型。模型构建的具体流程包括：原始数据的汇聚与预处理、潜在变量生成、特征变量选取、算法模型构建、模型验证迭代。在关于学生评价模型构建的文章中已对一般流程进行了详细的描述，[16]在此不再赘述。相对于学生模型，教师模型的算法构建有一些独特性，具体表现如下。 1. 数据的预处理 与对学生进行评价时主要基于学生学习的过程性数据不同，对辅导教师进行评价时不仅基于教师的工作表现，教师对学生施加的影响即学生学习状态的变化情况也是我们关注的重点，教师模型的数据需求涵盖了教师和学生在线教与学所产生的全部数据。并且，由于需要将教师的工作与学生的行为等过程数据的变化进行关联关系挖掘，因此在原始数据汇聚时需要注意对教师和学生行为之间的逻辑和时间顺序关系进行梳理，例如记录教师的反馈行为发生后，接收反馈的学生发生了哪些学习行为，这些数据之间的逻辑关系应该是机器可读的，以方便后续特征变量的自动提取。 2. 特征变量提取 构建教师模型时需要对学生的学习状态变化进行判断，通过状态的变化来表征教师对学生施加的影响，因此学生的状态变化既可以看作是特征变量，又可以看作是处于特征变量和指标因变量之间的中间量，这和学生模型构建时直接生成表征学生学习状态的各个特征变量有所不同。并且学生状态的变化又存在短期、中期和长期的区别，需要划分出若干个时间区间，生成多个潜在变量存放在特征数据库中，方便后续利用机器学习的方法从这些变量中选择特征变量，确定教师对学生的行为等方面的影响，从而对教师的工作有效性进行进一步的判断和评价。提取出来的部分特征变量见表1。 表1 特征变量示例 3. 算法模型构建 理论模型中一部分指标维度仅就教师行为或学生学习状态变化进行评估，此时我们一般采用机器学习的方法进行模型的训练。而另一些指标维度需要综合教师自身工作表现和对学生产生的影响两种角度来进行评价(如调控度等)。虽然对特征变量都会进行标准化处理，使其成为无量纲的数据，但由于两种角度存在较大的差异性，仍然不适合使用机器学习的方法对模型进行训练。这种情况下，我们使用模糊层次分析方法(Fuzzy Analytic Hierarchy Process)，由专家对同一级指标的重要性进行估计，并且将指标两两之间比较，根据一定评价标准确定指标的相对重要程度，根据比较结果，建立这些指标的重要性模糊一致判断矩阵，通过计算，确定各指标之间的相对重要性，也就获得了计算上一级指标或维度的对应权重，继而一层层向上汇聚最终构建完整的T-SERI模型。 基于国内某高校网络教育学院的教学数据，我们对T-SERI评价模型进行了应用和效果验证。首先对该网络学院课程平台数据库、学习管理数据库中的异构数据进行汇聚清洗，检查已有数据质量。对某些缺失或质量欠佳的关键数据，我们对课程的所有页面另外进行了埋点，以获取比原有数据粒度更细、更详尽的教师和学生行为数据，最终将所有获得的数据汇聚到数据仓库，提取出特征值，最终计算出相应的指标、维度和T-SERI的分值，并且在PC端和移动端进行可视化呈现，移动端的几个关键页面如图2至图5所示。 图2 学院总体T-SERI 图3 教师实时预警 图4 教师个人T-SERI值 图5 教师提升建议 图2展示了该网络教育学院当前所有辅导教师的综合评价参考指数(T-SERI)均值，表征的是学院教师综合评价的总体情况，可以看到当前T-SERI均值为86，属于良好级别，说明教师总体的综合表现较好。对某些工作可能存在某些问题的教师，我们进行了预警，如图3所示，预警的规则可以由管理者自己设定，如T-SERI值持续低于某个阀值，T-SERI值短时间内剧烈波动等，符合预警规则的教师会被列入预警名单，以便于管理者进行监控。图4展现了特定教师实时的T-SERI分值，用雷达图对T-SERI模型的五个维度的得分情况进行呈现，并且基于五个具体维度的得分情况，由构成维度的底层指标和特征值出发，对教师如何提升工作质量提出建议(如图5所示)。以图4中的教师个体为例，可以发现其投入度、联通度、认可度三个维度得分较高，而调控度、促进度得分较低，根据调控度和促进度的算法模型，我们可以找出该教师低于其他教师的那部分特征变量，根据这些特征变量的教学意义，提出有针对性的建议，例如发现该教师组织的学习活动学生的参与度较低，则建议其激发学生的积极性或设计参与性更强的学生活动等。 本研究是以学习分析技术对辅导教师的综合评价展开了建模和研发应用。研究从促进度、投入度、联通度、认可度和调控度等五个维度构建了辅导教师综合评价参考模型，在此基础上，通过在线学习平台汇聚的学习数据，进行了从行为数据到特征数据，再到维度计算，最终形成综合评价参考值的相关研究。进一步，本研究通过设计的理论模型和分析计算方法，综合设计开发了相应工具，在网络教育机构中予以实际应用，证明了本研究构建的T-SERI模型的科学性和可行性。总结本轮研究，我们认为，在基于学习分析技术进行教师综合评价的研究中，需要重点考虑以下几点。 首先是评价的数据采集问题。对于基于学习分析的评价来说，数据是一切的基础，脱离了实际数据，再全面的模型也没有意义。相较于很多在线教育机构已经开始重视学生用户数据，开始有意识地尽可能保留学生在线学习产生的一切过程性数据，教师教学数据的记录尚未得到足够的重视，这就造成了教师的行为数据在丰富性上要逊色于学生的行为数据。所以，为了全面评价教师的工作，我们使用学生学习状态的变化或取得的成就来评价辅导教师为学生提供学习支持服务的质量与效果。当然，如果大量学生表现出共性的学习状态改变，确实能从侧面体现教师的工作起到了效果;但如果只有一部分学生学习状态发生变化，或者状态变化并不明显的时候，究竟是教师工作的效果还是受到其他因素的影响，这就需要进一步进行研究，而这种情况往往是经常出现的。因此，通过学生的学习数据来评价教师只能作为一种辅助手段，要对教师进行全面客观科学的评价，还是需要在线教育机构重视对教师数据的收集，将教师的备课、教学反思、与教学团队其他成员的交流沟通等可能发生的行为都记录下来，尽可能收集教师教学过程中产生的各种数据。 其次是关于评价的内容。本研究主要基于对在线辅导教师角色和工作职责的文献调研，最终确立了综合评价理论模型。而在当前“互联网 ”的大背景下，教育的服务模式面临着革命性变革，在线教育也不例外，在线辅导教师作为学习支持服务的主要提供者，其角色和职能有可能发生翻天覆地的变化。因此，我们需要根据教学实践的实际情况，调整评价的框架，将在线教育服务模式变革对辅导教师提出的新的能力需求纳入到综合评价的理论模型中来。例如，随着教师在团队里的分工更加明确，对教师的专业化程度要求越来越高，教师的专业化发展的关注度将会提升，评价需求也随之产生，在后续研究中我们应该考虑如何根据辅导教师的新发展做出相应的评价调整。当然，这些评价的实现都需要建立在实际数据支持的基础之上。 另外，本研究尝试建立的是一个较为通用的评价框架，在使用模糊层次分析法设定权重时并没有特别的侧重。而在评价工具的实际应用中，我们可以发现，同一个教师进行辅导的不同课程，有可能其T-SERI的评分存在较大差异。这是由于课程的教学目标存在差异，相应的教学设计和教学方法也有着很大不同。例如，有些课程可能较为强调基于任务的协作学习，辅导教师需要时刻关注学习者任务的完成情况，对其进行引导，并且对学习者之间的小组协作进行有效的组织和管理;而有些课程可能采取让学习者主导自己学习的方式，完全依靠学生的自主学习能力，辅导教师要做的仅仅是监控学习者的学习过程，针对发现的问题及时进行反馈和干预。基于我们构建的评价模型对这两种应用场景下的辅导教师进行评价，调控度等相关维度的得分可能存在较大差别。因此，为了保证模型的适用性，我们在评价工具的设计中提供了让管理者或课程教学设计人员针对不同课程类型调整指标维度计算权重的机制，当课程的教学方法存在特殊侧重，需要特别强调辅导教师某些个别角色和工作职责时，可以及时对模型做出调整，获得客观的评价结果。 发表于《电化教育研究》2016年第10期  [参考文献] [1] Holmberg，B.. Theory and Practice of Distance Education[M]. London：Routledge， 2005. [2] 郑勤华，李秋菊，陈丽. 中国MOOCs教学模式调查研究[J]. 开放教育研究，2015，(6)：71~79. [3] Onah，D.F.O.， Sinclair，J.， Boyatt，R.. Dropout Rates of Massive Open Online Courses： Behavioural Patterns[J]. Edulearn14 Proceedings， 2014： 5825~5834. [4] Parr，C.. MOOC Completion Rates ‘Below 7%’[EB/OL].[2016-09-27]. https://www./news/mooc-completion-rates-below-7/2003710.article. [5] Jordan，K.. MOOC Completion Rates： The Data[EB/OL].[2016-08-24]. http：//www.katyjordan.com/MOOCproject.html. [6] Quality and Standards in the Open University： Fact Sheet Series[EB/OL].[2016-08-24]. http：//www.open.ac.uk/about/documents/qas-fss-introduction.pdf. [7] Shinkfied， A. T.， & Stufflebeam， D.. Teacher Evaluation： Guide to Effective Practice[M]. Boston： Kluwer Academic Publishers， 1995. [8] Berge，Z.L.. Facilitating Computer Conferencing： Recommendations from the Field[J]. Education Technology-Saddle Brook NJ， 1995， 35： 22~22. [9] Goodyear，P.， Salmon，G.， Spector，J.M.， et al. Competences for Online Teaching： A Special Report[J]. Educational Technology Research and Development， 2001， 49(1)： 65~72. [10] 翁朱华. 我国远程教育教师角色与专业发展[J]. 开放教育研究，2012，01：98~105. [11] J. Bawane， J.M. Spector. Prioritization of Online Instructor Roles： Implications for Competency-Based Teacher Education Programs[J]. Distance Education，2009，30(3)：383~397. [12] 李爽，张艳霞，陈丽，张婧婧，刘永权. 网络教育时代开放大学课程辅导教师角色定位与职能转变实证研究[J]. 中国电化教育，2014，(9)：50~58. [13] Parasuraman，A.， Zeithaml，V.A.， Berry，L.L.. Servqual[J]. Journal of Retailing， 1988， 64(1)： 12~40. [14] Skinner，E.A.， Belmont，M.J.. Motivation in the Classroom： Reciprocal Effects of Teacher Behavior and Student Engagement Across the School Year[J]. Journal of Educational Psychology， 1993， 85(4)： 571. [15] 李爽，张艳霞，刘永权. 北京开放大学课程辅导教师能力需求与实际现状调查[J]. 中国电化教育，2014，(12)：59~66. [16] 郑勤华，陈耀华，孙洪涛，陈丽. 基于学习分析的在线学习测评综合建模与应用——学习者综合评价参考模型研究[J]. 电化教育研究，2016，(9)：33~40. The Construction and Application of An Online Learning Evaluation System Based on Learning Analytics Technology: A Study of Teacher Systematic Evaluation Reference Indicator CHEN Yao-hua, ZHENG Qin-hua, SUN Hong-tao, CHEN Li [Abstract] Learning support services are the key factor that influences the quality of online education. As the main provider of learning support services, online instructors play an important role in online instruction. Learning analytics technology emphasizes the description, diagnosis, prediction and intervention of learning based on data. Thus, it is possible to describe the whole process of students' learning using learning analytics. Consequently, we can use learning analytics technology to assess and evaluate the effect of the learning support services that online instructors provided based on the changes of students' learning status. This research aimed at systematically evaluating teachers' instruction. We first constructed a theoretical model for systematically evaluating instructors that had five dimensions: improvement, engagement, connectivity, recognition, and regulation. Then, we developed corresponding computational model on the basis of the theoretical model. Finally, we verified the theoretical and computational models by applying them in the teaching practices in the School of Online Education. This research informed the systematic evaluation of online instructors and the application of learning analytics technology. [Keywords] Learning Analytics Technology; Teacher Systematic Evaluation Reference Indicator; T-SERI; Teacher Evaluation 【基金项目】北京师范大学自主科研基金项目“学习者在线学习状态分析与可视化工具研发”(项目编号：SKZZB2015013) 【 【作者简介】 陈耀华(1983—)，男，江苏盐城人。博士研究生，主要从事远程教育、学习分析等方面研究。E-mail：chenyaohwa@126.com。 |
|
|
来自： 小桥流水u9t8jc > 《专家观点》
