摘 要 该文首先介绍了网络教学环境评价的目标、工具和方法，然后从学习管理系统和在线课程两方面分析了相关的评价标准，并对有关案例进行了介绍和分析。作者最后强调了使评估成为永久性的监督机制的重要性，并指出评估结果并不是永久有效，应提交科学界供学术讨论，以检验其稳定性和有效性。
关键词 网络教学； 评价； 在线课程； 学习管理系统
一、 引言
今天，新型的富有创新性的教学环境的发展似乎陷入了暂停状态，人们主要在讨论标准化、质量保证和内容管理系统的问题。因此，在这个时候我们正可以分析质量保证的目标和已有的工具，介绍在电子教学评价方面的一些新进展。
目前，网络教育机构利用各种类型的用户界面专门设计了交互环境，在这样的环境中提供电子教材，开展教学。在高等教育领域，这样的环境有时称“虚拟大学”。但它又会产生误导，因为虚拟大学依然有真正的建筑、教师和学生。因此，我们通常以“网络教学环境”一词使用之。那么，如何评价网络教学环境，使其达到一定的质量标准呢？
二、 评价目标和工具
评价意味着对教和学的质量进行评估。通常，我们必须区分形成性评价和总结性评价。形成性评价指在教学环境开发过程中进行的评价，而总结性评价指对最终结果的评价。过去，多数学校注重总结性评价，因为他们认为总结性评价成本低，可以快速实施。但要持续地保证质量标准，就必须使评价成为永久性的监督过程，而不是评价一部分要素。
评价范围应覆盖整个系统最为重要的方面，而不是仅仅评价等级或课程材料的教学质量。需要考虑的方面包括：关于系统的信息、在校生数和学习目标、成功率和辍学率，学校的财政地位、成本结构及其动力机制、系统的管理、教材开发和制作、毕业生质量和接受度、学生指导和咨询、交流模式和渠道、系统服务的可获得性、学习环境（技术的和社会的）。
上述方面只是部分地不同于传统教学系统。通常，研究人员首先会问评价教育系统时曾问过的同样问题。因此，他们一开始用传统的评价方法比较传统教学与网络教学环境的做法并不奇怪。但是评价结果会和远程教育的早期模式与传统教学比较的结果一样模糊和不确定。更好的做法是关注电子学习环境在上述方面的新特征，而不是试图证明在电子环境下也能开展教学。
三、 方法
可以采用社会科学中通常使用的方法，如参与性观察、小组讨论法、谈话法、专家评定法、问卷调查与统计分析法。也可以利用新媒体本身收集和处理数据，如一个虚拟研讨的注册信息和信息交流频率，或相应信息的时间状况和地区分布。
研究和开发人员最常用的工具之一还是问卷调查，可能因为它比较简单易用。在线问卷或允许下载填写的问卷可以扩大调查范围，并且统计结果可以自动加入数据库，然后利用标准统计软件进行评价。要对被调查者的回答进行编码，可以用CGI-script或JAVA servlet将数据记录在服务器上，然后用Excel，或者如果是更复杂的分析，就用SPSS或SAS对数据进行处理。
由于电子商务中也使用在线问卷调查方法，专门的问卷调查、数据分析，以及统计结果图形表示软件包发展得很快，但其价格也因此而相当昂贵。对问卷调查进行电子处理的一个优点是可以根据回答直接找到原答卷，同答卷人个别对话。问题在于，要使目标人群接受问卷调查，就要设置一个进入问卷数据的密码，这会带来数据安全和隐私问题。另一个问题是，教师可能因为担心不利于其职位升迁而反对评价结果，特别是如果公开结果的话（Ian C.Reid，用于弹性学习的弹性评价工具，ICDE会议论文集，CD ROM,杜塞尔多夫，2001）。
在线问卷调查数据的处理过程
更为简单的基于网络的评价工具就是记录点击数的计数器、票数计算器或访问者手册。其它更为量化的测量来自服务器协议数据。这些数据允许追踪持续时间、时间安排表、进入方式和地区分布等信息，对于改进在线学习的组织是很重要的。
四、 学习管理系统的评价标准
学习管理系统可以明确基于主机的软件如何在网络上呈现学习内容，支持教学组织与管理，支持相关人员的交流。
过去曾有过评价商用学习平台或自开发学习平台的尝试。这里主要介绍P.Baumgartner(2002)的研究，尽管R.Schulmeister(2000)和M·Micincova(2002)也做过类似的研究。P.Baumgartner采用一系列标准，根据不同的相关性确定权重。其分析的领域包括：
·通讯、合作与协作（同步、异步通讯工具、注释、角色形成、外部工具的融合）
·教学（不同的师生类型、交互测验、模块结构、反馈、作者环境）
·管理（用户追踪、清单、个别化）
·技术（适应性、可扩展行、可测量性、分布、标准化程度、支持、文件编制、安全性）
这些标准并没有涵盖所有方面，但表明了评价对象系统特征的复杂性。研究结果如下表所示：
表内排行会引导买主考虑那些应当注意的方面，但不能因此而将这些结果视为有科学依据的学习平台购买清单。除必须根据需要和学校的特点做决定，还应尽可能地考虑到未来的发展趋势。
产品 卖主 小学 中学 大学 继续教育 公司教育
Blackboard Blackboard ×
Clix ImcG..m.b.H × × × ×
DLS EtsG.m.b.H × ×
IBTServer Time4youG.m.b.H × × × × ×
Saba学习公司 SabasoftwareInc. × × ×
TopClass WBTSystems × × × ×
WebCT WebCT × ×
五、 在线课程的评价标准
远程教育机构的一个核心要素是学习材料。关于多媒体教材的在线与离线学习的评价，其核心方面是内容、教学结构、导航、呈现方式、帮助设施和辅助工具、交流设施、技术质量、开发过程的组织、成分与分配，还有管理、指导和咨询。
内容方面：清晰的、模块化的内容呈现方式；有足够的深度和广度；相对于目标群体有合适的语言表达；动机激发和总结；提供充分的例子和练习；提供多层次的和有一定深度的知识。
导航方面：向用户介绍如何应对课程学习；有清晰简洁的菜单；记录学习进度（学生的学习历史）；页面识别；引导性漫游和针对学生兴趣的不同路线。
呈现方式方面：课程入门的设计（直接连接相关内容，如辅导、课程、考试、所有文本内容、图表、音频资料、视频资料等信息的分布）；课程结构；帧和窗口的使用；色彩、字体和图片的使用（编排方式）；楼梯式的信息呈现；与学生交互的类型和频率；动画和模拟的使用；产品的整体设计。
音频方面：音频资料的教学功能；录音质量；播音员的选择；语言可听性；长度；音频文件导航。
视频方面：视频资料的教学功能；摄制技巧的使用，如拍摄角度和位置（长焦、中焦、近焦）、移动摄影、透视、剪辑、画面渐隐、声音、光和编辑。
用户的影响：如何浏览课程材料（线性、非线性）；是否可以自己加入内容；与教师或其他资源提供人的交流方式（E-mail、论坛、新闻组）；与相关网页的链接；其它网页信息的加入（如温度的数据、股指的数据）；部分内容的打印。
其它相关因素：参考文献、术语汇编、个人注释、便携计算器、搜索引擎。
课程管理：建立网络课程和更新信息的模板、学生成绩记录、作业自动评分。
技术方面：程序语言或编辑系统（编程的效率）、对用户的要求、图像、声音、传输速度的质量、安装路径、易传性（不同操作系统、不同的浏览器）。
财政和组织方面：开发和制作小组、合作组织、产品信息、时间、成本、价格和分配。
上述方面并不意味着没有达到这些要求的产品就是不好的产品。每个产品都必须达到其基本制作要求，上面一些指标在特定情况下也许不太重要或根本不可能达到。因此，这些指标仅作为参考。
六、 多媒体学习环境评价的案例与结果
案例1：对一个多媒体CDROM的评价
2000年12月，我们为德国哈根大学电力工程学院的《控制理论》课程制作了CD-ROM，并配有印刷教材。通常，远程教育机构中，注册技术类课程的学生数远远低于非技术类课程的学生数。因此，我们只能通过20个学生测试这个CD-ROM，约占学生总数的80％。他们都是比较积极参与课程学习的学生。最后回收了12张问卷。该CDROM有约500幅电子页面，其中包括50个交互式练习、2段录像、2小时30分钟的录音、3段用Lotus ScreenCam制作的视频资料，还有一个复杂的模拟工具，可以检验控制回路的稳定性与其它特征。
学生年龄从25岁到65岁不等，多数是30多岁，并且已经拥有文学士学位，一些学生还有了文学硕士学位，2人曾是技术助理。安装和浏览没有出现任何问题。下表是一些调查结果。
不满意 较满意 满意 好 优秀
页面设计 3 9
交互 1 2 4 5
学习效率 4 4 4
激励 1 7 4
来源： W.Laaser,M.Gerke,Multimedia on Control TheoryDesign and Evaluation,in:Journal of Educational Media,Vol.26,No.2,2001,P.113
上表表明学生的评价都很高。以下我们讨论一些特殊的问题。
学生特别感兴趣的是每页内容逐步呈现，并配有声音解释。所有学生一致认为，这种方法为学习提供了极好的帮助。
稍感失望的是模拟工具箱的使用相对有限。
另一个有趣的问题是，学生喜欢直接遵循推荐的路径学习，还是更喜欢按自己的喜好学习？结果是两种类型各半。但有几个学生写道，他们开始时按照推荐的路径学习，后来就根据自己需要确定路径了。
开发人员常见的一个问题是，课程需要多少学时。答案差距很大，从3.5个小时到整整一周不等，说明对学生学习时间很难进行有意义的判断。学生的兴趣和要求明显存在着极大差异。
媒体设计方面也有一个有趣的问题，即是否提供音频解说的文字版本。这一问题在CDROM开发阶段就有了。结果表明，半数学生不使用这些文字内容，其他学生只是偶尔利用。可见，用不同媒体纯粹复制相同内容的信息，其附加值相对较小。
最后，我们用学生的话来反映他们的个人观点：
──我认为课程中加入了有欢迎内容的录像非常好。同传统大学相比，远程教育大学不幸总是无名的。通过听和看，我终于了解了弗恩大学的一些教授。
──同大量印刷材料需要彻底地学习相比，CD-ROM是一种良好的补充和有益的学习支持工具。但它也有缺点，必须有计算机才能学习，而印刷材料在任何地方都可以用。最让我头疼的是计算机故障。很不幸，我常碰到这种情况。”
──最后我要祝贺作者将课程内容进行了极为精细复杂的转换。这张CD比函授形式好得多，的确发挥了媒体的潜能。
案例2：网上交流的评价
利用CD-ROM的课程可增进交互式学习，但这样的学习环境缺乏同教师和同伴的直接交流。在线教学中相当重视的课程要素称为“虚拟研讨”，学生通过电子邮件、聊天室、公告板或者会议系统进行交流，合作完成小组论文，然后发送到网页上供进一步讨论，从而达到和其他参与者、教师交流的目的。
在这一案例中，评价主要针对交流的内容和方式。一个简单的测量方法是计算发送的E-mail数量，以及相应新闻组或论坛中评论的数量。
E-mail 新闻组中的评论条数
参与者 166 281
教师 121 191
总数 287 472
来源：H.Heidbrink,Ein virtuelles Methodenseminar an der FernUniversitt,en:Internet für Psychologen(B.Batinic Ed.),Hogrefe,Gttingen 1997,P.403
上表表明，这种教学安排需要学生和教师都必须进行充分的阅读。对上述研讨的调查持续了约2个月，师生阅读的进度总是被其它活动打断，因此整个周期和传统的研讨方式相比要长得多。关于虚拟研讨工作量的更进一步研究，可参见M.Herberger等人的文章。
但是，数量统计并不能提供交流的价值和意义方面的信息，因此，采用质的方法更有意义。在伯明翰世界远程教育大会召开之前，C.Gunawardena分析了一次虚拟讨论的内容，并精心设计了一项调查，目的是依据建构主义分析该讨论是否引发出了新知识，是否因讨论而改变了参与者的原有意见。她将网上虚拟评论分为五类：
·共享和比较信息
·发现分歧之处
·商讨
·综合
·接纳新观点
讨论较容易达成一致，也使质的分析成为可能，但分类和解释依然比较模糊复杂。上述研究结果也证明了这一点。
质的方面有待进一步研究的领域是，网上交流中社会存在的影响和测量。一般来说，与传统教学相比，这种社会存在减少了。曾有调查分析怎样补充所缺乏的手势、情感和其它元认知符号。最近的研究表明，参与者的形象以及声音可以增强网上交流环境中的社会存在感。也有人尝试用虚拟人作为虚拟环境的一部分，使网上交流更近似于直接的面对面交流。虽然在跨越空间距离的交流中这类次佳型的解决方案会成为一个诱人的选择，但有时对习惯于面对面交流的人来说仍然是陌生的。
七、 从评价到质量管理
在德国，大学传统上是公立的，在学术质量上比较相似，都由国家教育部监督和拨款。首席教授在教学和科研方面享有高度的自治（教学与科研的自由）。实行分权化的管理体制，通过协商做决策，如“学术评议会”由首席教授、管理人员和学生共同组成。与私立机构相反，大学系统的产品不在市场上销售，其产品“毕业生”是一个复杂的研究课题。一些输入方面的数据，如网络课程、每个学生的辅导支持学时数，同输出数据（如毕业生数）之间存在怎样的因果关系尚是未知数。当然，二者间的因果关系也仅是一种猜测，而非基于研究得出的结论。
由于这些原因，用于产业部门的质量标准和控制方法必须经过修正才能应用于高等教育机构。大学还不习惯于制定绩效考核目标、考核战略方针和基准。另一方面，德国的大学也在发生一些变化，即更为多样化的和部分的财政自治，并在进行适当的整型，包括内部组织的简化。最后，随着学士、硕士学位逐渐取代德国传统的文凭学位，日益多样化的德国大学在欧洲范围内面临的竞争也正在加剧。所有这些变化都有利于将质量控制和质量改进方法系统地引入大学。目前，一些国家已经建立了欧洲学分系统和所谓的认证中心（欧洲质量保证网络），以推进新课程和学位项目的实施。
对教和学的全面评价是评估和提高质量的重要前提条件，但其中潜在的因果关系依然需要进一步的细致研究。由期刊或其它机构进行的简单排行并不能为大学建立合理、有益的质量基准。
八、 结论
事实上，我们已经看到这样的趋势，即教育机构，尤其是公立大学向私人市场敞开了大门，打破了传统的生产链（科研、教学内容、媒体开发、分配和education brokeridge）。这说明未来的大学只有革新，才能在更为激烈的市场竞争中生存。因此，评估不再局限于个别方面，大学必须建立永久性的系统的绩效监督机制。评估结果必须得到持续的贯彻，以改进系统服务质量和对战略选择进行再设计。应该看到，在线评价和自动化数据处理系统为永久性的监督机制的建立提供了条件。
但是，仅有适当的评价工具和技术并不足以保证为学校决策提供足够的信息。更多的情况是，决策者对于评估结果没有多大热情，例如关于辍学率的数据，或关于教学质量的比较结果总是被轻描淡写。因此，同样重要的是让教师相信，不改进质量管理，大学就不能在教育市场中生存。大学的全体人员都应该参与这一过程。
另一方面，我们必须认识到，评估结果并不是永久有效，一成不变的，而应提交科学界供学术讨论，以检验其稳定性和有效性。 |
|
|
