网络课程评价标准研究述评段崇江 张建伟 王学优 滕霞 清华大学电教中心、现代教育技术研究所，北京 100084
摘要：本文围绕针对整个网络课程的评价标准、针对网络教育资源的评价标准和针对网络课程某些具体侧面的评价标准等三个主题综述了国内外网络课程评价的标准和研究，从评价内容和评价方法上对这些标准行了分析。 关键词：网络课程，评价，标准，网络教育
网络教育是当前新一代远程教育发展的趋势，同时也日益广泛地应用在了校园内的教育中，是教育领域中的热点。在网络教育快速发展的同时，其质量保证问题引起了越来越多的关注。网络课程的质量是制约整个网络教育质量的一个关键环节。网络课程的评价标准问题是当前网络教育发展中必须尽快解决的一个重要问题。我国教育部于2001年6月成立了“现代远程教育技术标准化委员会”，后改名为“教育信息化技术标准委员会”，（CELTS），启动了系列研究项目，我们承担了其中CELTS-22 “课程资源评价标准”的研制工作。在此过程中，我们对国内外有关的网络课程资源评价标准进行了文献调研和综合分析。 国内外对于网络课程的评价进行了许多研究，有一些机构制定了网络课程评价的相关标准。在这些评价标准中，有些是针对整个网络课程的质量的评价标准，有些是针对多媒体网络教育资源的评价标准，有些则是针对网络课程某些具体侧面（如界面设计）的评价标准。下面就按照这三个主题分别加以综合分析。
一、针对整个网络课程的评价标准
当前，在针对整个网络课程层次上的评价标准中，有两个标准在国际上产生了较大影响，它们是美国培训与发展协会（American Society of Training and Development，ASTD）的E-Learning课件认证标准（The ASTD Institute E-Learning Courseware Certification (ECC) Standards）和美国国防部高级分布式学习联合实验室（Advanced Distributed Learning Co-Laboratory, ADL）的网络教学设计与评价指南（Guidelines for Design and Evaluation of Web-Based Instruction）。这两个标准对于研制我国的网络课程评价标准具有较大的参考价值，因此，这里重点对它们进行对比分析。 （一）标准背景 ASTD成立于1944年，是美国关于学习与绩效的专业协会。ASTD所开展的E-Learning课件认证的对象是异步网络课程和多媒体课件，它的目标是： l 为能够满足培训者需求的E-Learning课程提供认证，以帮助培训者决定购买与否； l 为培训供应商提供判断课程质量的基本依据，以表明他们的课程满足了最低标准，为他们带来附加的市场价值； l 为改善E-Learning产品的整体质量做贡献。 ASTD E-Learning课件认证项目是关于课件的兼容性、界面和教学设计的最早的评价项目，也是最早的完全基于网络、具有工作流程工具和报告工具的项目。ASTD认证委员会中包括了E-Learning专家学者、教学系统设计人员和其他一些学习行业的领导者。该委员会推出的认证标准提供了支持评价者操作的例子、具体说明、定义和其他支持性信息。 ADL是美国国防部(DoD)成立的一个专门针对分布式学习的研究机构。按照美国国防部关于高级分布式学习的计划，必须通过发展培训技术来确保国防部的所有人员在任何时间、任何地点都能获得最高质量的、经济有效的教育和培训，并使之适合每一个学习者的需求。为此，国防部在奥兰多成立了ADL联合实验室，以推动国防部内的高级分布式学习的实施。ADL网络教学设计与评价指南旨在为网络教学的设计过程和评价提供具体指导和参考框架，为高效率地合作开发高级分布式学习原型系统提供指导，同时为高级分布式学习的管理者提供评估工具。该文件作为指南（guideline），既不同于规范（specification），也不同于网络教学的原则（principle），而是界于两者之间，比原则更具体，更具操作性，但并不像规范那样详细地规定网络课程的细节问题。 （二）标准内容 ASTD E-Learning课件认证标准从草案到目前推出的标准总共经历了3个版本，第一个版本包括了32条标准，分为可用性和技术标准、教学设计标准（见表1）。第二个版本在第一个版本的基础上进行了修订，包括19条标准，分为界面标准、兼容性标准、产品质量标准和教学设计标准四个类别。兼容性标准的内容是网络课程的技术性标准，包括安装、启动、运行、卸载标准。产品质量标准强调了文本和图形的易读性及课程格式设计和风格的内部一致性。教学设计标准包括了教学目标、教学内容、练习、教学评价等内容。第三个版本在第二个版本的框架下对部分标准进行了修订（见表2）。
表1 ASTD E-Learning课件认证标准最初版本的基本结构
表2 ASTD E-Learning课件认证标准第三个版本的基本结构
表3 E-Learning课件认证标准修订前后的主要差异
表3对ASTD E-Learning课件认证标准的2个版本的主要差异做了对比。修订后的标准对可用性和技术标准进行了新的分类，主要是把“技术和可用性标准”分为“界面标准”、“兼容性标准”和“产品质量标准”三个类别。对教学设计标准进行了调整，突出了教学目标，合并了练习及练习反馈标准。在最初的标准中有应用练习、近迁移练习、远迁移练习、综合练习及针对各种练习的反馈标准，在修订后的标准中把7个标准合并为“练习及反馈”1个标准。
ADL网络教学设计与评价指南包括了教学内容设计、多媒体设计、网站设计、网页布局和网页可用性等几个方面（见表4）。从内容上看，该指南与ASTD E-Learning课件认证标准有较大的一致性，都涉及到了网络课程的教学设计、界面和技术方面的内容，但ADL较多地强调了对课程内容的质量要求，而且通过细致的解释和举例为网络课程的设计开发提供了具体指导。
表4 ADL网络教学的设计与评价指南的框架
ADL网络教学设计和评价指南规定了网络教学设计过程中应遵循的一些基本规则，这可以指导网络课程的设计，并为网络课程设计开发过程中的形成性评价和内部评价提供了一个核查工具，很有参考意义。 （三）评价方法 ADL网络教学的设计和评价指南提供了评价的核查表（checklist），采用5点量表来判断某个课程是否符合各项规定：完全没有= 0%, 很少= 25%, 有时= 50%, 经常= 75%, 总是= 100%。ASTD E-Learning课件认证标准采用指标体系评价法进行评价，具有更完备的评价方法说明，以下着重分析这一标准的评估方法。 在评分方法上，ASTD E-Learning课件认证标准第一个版本统一采用李克特式量表进行四级或五级评定，即按照课程满足每条标准的程度划分出四个或五个连续的等级，根据这些等级对具体的课程进行测量和评分。后两个版本的标准把每条标准划分出若干关键特性，每个关键特性具有不同的通过分值，针对每个关键特性对具体的网络课程进行测量和评分。比如“标准1：定向”具有四个关键特性，即“课程地图”、“导航框架”、“内容框架”和“学习过程记录”，它们的通过分值分别为3、2、2、2；如果某课程在这条标准上总体得分达到或超过6分就算通过。 另外，ASTD E-Learning课件认证标准规定了每条具体标准的约束性属性，包括“可替代（Substitutable）”或“不可替代（Non-Substitutable）”两种属性。不可替代的标准是异步网络课程和多媒体课件必须达到的标准，可以替代的标准在界面标准、兼容性标准和产品质量标准3个部分要达到5条以上，在教学设计标准部分要达到2条以上，整个课件才可以通过认证。每一条具体标准根据评价的内容概括为几个关键特性，每个关键特性赋予不同的分值，用来作为评价待评课件是否达到该条标准的依据和参照。 （四）评析 ASTD E-Learning课件认证标准的优点是具有完整的量化的、可操作的评价指标体系和评估方法，标准的对象和目的明确。但是它是一个协会的标准，不是正式的部门或者国家标准；从标准内容上说，它对课程内容的评价不充分。从标准的发展上说，ASTD E-Learning课件认证标准从初步的标准到目前推出的标准共形成了标准的三个版本，这三个版本从具体的标准条目到整个标准框架都作了较大的变动，这说明该标准仍在不断完善的过程中，目前推出的标准也还不是一个成熟和完美的标准，主要是为商业目的而使用的协会标准。有些标准与我国的习惯不同，在网络课程开发和评价的实践中，我们应当对这样的标准进行改造。 ADL网络教学设计与评价指南的优点是把设计和评价结合起来考虑，包括的范围广泛，提供了详细的网络教学设计原则、框架和具体实例。不足之处在于它的可操作性不强，要把它作为评估大量网络课程的标准需要对各个原则更明确地进行操作化。
（五）其它相关研究 除了上述两个影响较大的评价标准之外，其他研究者或机构也针对网络课程的评价问题做了许多相关的研究工作。比如，Learning Guide是美国的一个独立的E-Learning研究咨询服务机构，它从内容（Content）、设计和发布（Design and Delivery）、价值（Value）3个方面对网络课程进行评价。“内容”方面包括了针对多媒体网络教育资源部分的大部分主题（如课程内容自身的质量、表现形式、内容的组织性、与目标相关性、是否适合学习者等）；“设计和发布”包括了网络课程的功能特性、教学设计（如交互活动、多媒体应用、模拟、练习和评价等）以及界面设计（如导航、课程的外观设计等）；“价值”包括了课程的经济性和总体价值等内容。 另外，有些研究者对整个网络教育系统的评价做了研究，其中包括但不限于网络课程本身。比如，George Washington大学的Badrul H. Khan（2000）博士提出了灵活、开放的分布式学习或E-Learning环境的设计与评价框架，该框架包含机构、教育、技术、界面设计、评价、管理、资源支持和伦理8个维度，每个维度又分别由多个子维度组成，分别针对E-Learning环境某一具体方面。该框架综合概括了有效的E-Learning学习环境应考虑的各个要素，其中有些维度（如教育、技术、界面设计等）与网络课程的评价有直接的关系。
二、针对多媒体网络教育资源的评价标准
与网络课程的评价标准密切相关，当前有些研究者或机构提出了对于网络教育资源的评价标准。网络课程是基于Web传输的为完成某学科或领域的教学目标而设计、组织起来的相对完整的学习经验体系，它包括围绕特定学习目标而设计组织的系列学习内容、为实施课程而设计的交互性学习活动、以及为评价课程效果而进行的测评等，是学习内容与学习活动的复合体。网络教育资源比网络课程的范围更广，除了网络课程之外，它还包括了结合某课程中的具体知识点或学习单元而设计的不同类型的网络课件以及各种可以用于教育的信息资源，这些资源并不一定具有像网络课程那样的完整体系和全面的教学功能。针对多媒体网络教育资源的评价标准所针对的主要问题是如何对海量的网络资源进行选择，判断特定资源是否具有合格的质量，是否适用于教学。 “教育资源门户”（The Gateway to Educational Material，简称GEM）是在美国教育部的支持下建立的网络系统，旨在帮助美国的教育者能够方便快捷的获取各种各样的网上教育资源。为了对各种教育资源进行评价，GEM从网络资源的质量特性出发，制定了对网络教学资源进行评价的7个方面的标准：（1）网络资源的准确性（Accuracy）：包括科学性、可靠性、时效性；（2）对学习者的适当性（Appropriateness）；（3）目标、方法、程序及评价信息的明确性（Clarity）；（4）与学习目标的相关性（Relevancy）；（5）资源自身的完整性（Completeness）；（6）动机性（Motivation）：资源的内容、表现方法是否能吸引学习者的投入；（7）内容的组织性（Organization）。每个特性下包含有体现了该特性的几个子问题，评价者根据子问题判断被评价的资源是否满足了这些特征。判断的等级有“非常不同意（Strongly disagree）”、“不同意（Disagree）”、“难以判断（Undecided）”、“同意（Agree）”和“非常同意（Strongly agree）”。 另外，MERLOT（Multimedia Educational Resource for Learning and Online Teaching）作为主要面向高校师生的免费资源网站，从内容质量、作为教—学工具的潜力和易用性3个方面对多媒体网络教育资源进行评价。网上信息资源CARS列表评价法（见祝智庭，2001，p.59-63）从网上资源的可信度（Credibility）、准确度（Accuracy）、合理性（Reasonability）、引证度（Support）等4个方面对网络上的信息资源进行评价。
三、针对网络课程的具体侧面的评价标准
针对网络课程具体侧面的评价标准对网络课程的某个侧面或具体特性进行了细致和深入的评价，不涉及课程的其它方面。这类研究对于深化关于网络课程的研究具有较高的价值和指导意义。 Reeves & Harmon（1993）提出了多媒体教育软件的用户界面评价标准，包括10个维度：（1）容易使用（Easy of use）；（2）导航（Navigation）；（3）认知负担（Cognitive load）；（4）地图（Mapping）；（5）屏幕设计（Screen design）；（6）知识空间兼容性（Knowledge space compatibility）；（7）信息呈现（Information presentation）；（8）媒体整合（Media integration）；（9）美学（Aesthetics）；（10）总体功能（Overall functionality）。每个维度都具有10个等级，评价者据此对具体课程的用户界面进行打分，同时请评价者给出简短的评论。 Roblyer & Ekhaml（2000）在对大量文献分析的基础上对远程课程的交互性的评价做了专门研究。他们设计了一个教师可以用来评判自己的远程课程的交互性程度的量规（rubric），把远程课程中的交互性分为4个维度：教师建立社会关系的活动、用以促进学生参与的教学设计、技术资源的交互性等级和交互活动对学生学习的作用。这4个维度分别体现了交互性的社会目标、交互性的教学目标及其实现、各种技术手段对交互性的影响以及交互活动对学习者的实际影响。他们把远程课程中交互性的程度划分为5个等级，每个等级具有相应的等级分：极低的交互性（1分）、最起码的交互性（2分）、中等程度交互性（3分）、中上程度的交互性（4分）和高交互性（5分）。课程最终的交互性程度分为低交互性（在4个维度上获得1－7分）、中等交互性（8－14分）和高交互性（15－20分）。应该说，这一研究中所针对的交互性的实现不仅仅依赖于课程资源的设计开发，同时也在很大程度上依赖于课程的有效组织实施，即教学过程。
四、国内网络课程评价标准研究
国内学者曾经针对CAI课件的评价做了较多研究，近年来又在这些研究的基础上对网络课程或课件的评价做了探索。 丁兴富（2001）提出，可以从开放与灵活性、资源全球共享、交互参与和协作、环境营造、更新内容、教学模式创新等侧面来对网络教育资源进行评价。刘成新（2000）提出了网络教学资源的评价框架，从教学内容设计、框架结构设计、教学构件设计和用户界面设计4个方面的评价项目来评价网络教育资源的质量和水平。熊才平、吴瑞华（2001）构建了“网络课程绩效评价指标”，分为一级指标和二级指标，一级指标包括教育性、科学性、技术性、交互性、开放性、艺术性、使用性和经济性等8个方面。 教育部《教育资源建设技术规范》对于网络课程以及各种网络教育资源的设计开发和评价做了基本要求（该文件已经广泛发布，这里不再多加介绍）。另外，结合教育部高教司新世纪网络课程建设项目的验收工作，北师大的黄荣怀等人研制了网络课程课件部分测评（认证）标准（试行）。整个标准采用指标体系评价法，按照“一级指标”、“二级指标”、“三级指标”逐级细化指标。标准的一级指标包括教学设计、教学内容、可用性、技术性、信息呈现和文档资料等6个方面。在评价实施过程中，标准要求课件开发者针对每个指标进行“举证说明”，即要求开发者提供关于课件满足各项指标的实例材料。上述标准的制定较多地参考了ASTD的标准。
五、总结
综上所述，国内外近年来对网络课程的评价标准问题做了一定的研究，但目前还没有共识性的、广泛采用的、科学完善的标准，因此，我们需要在相关研究的基础上进一步制订适合我国国情的网络课程评价标准。 基于以上分析可以看出： （1） 针对网络课程的评价标准及相关研究主要集中在课程内容、教学设计、界面、技术等几个方面，这些内容可以成为我国网络课程评价标准的基本内容。 （2） 从评价方法上看，国内外网络课程评价标准主要采用了指标体系评价法对整个网络课程和网络课程的各个具体侧面进行评价，这些标准的具体评价方案对制定我国的网络课程评价标准具有很好的启发意义和参考价值。 （3） 国内外的现有标准并不完善，尤其是没有完全遵循标准研制的程序方法进行研究和评议。因此我们在参考和借鉴国外网络课程评价标准时不能直接采用“拿来主义”的做法，要结合国内网络课程开发和研究的实际情况，按照标准研制的程序和方法研制适合我国实情的网络课程评价标准及其评价方案。 在上述相关研究与实践的基础上，我们进行了CELTS-22 “课程资源评价标准”的研制工作。本规范针对高等教育、职业培训以及基础教育领域中的网络课程，提出了网络课程评价的一般性规范，包括框架结构和指标体系。本规范定义了课程内容、教学设计、界面设计和技术等四个维度的特性，每个维度下包含有具体的评价指标，以最小的重迭描述了网络课程的质量特性。（1）课程内容：指课程内容本身的学术质量和组织结构，这是决定网络课程质量的核心要素；（2）教学设计：指对课程的教学目标、教学过程及教学测评方法的合理设计，这是决定网络课程质量的关键，是网络课程区别于一般网络软件的特色性维度；（3）界面设计：指对学习者与网络课程系统之间的信息交流方式的设计，简便易用的人性化的界面设计是决定网络课程质量的另一个重要因素；（4）技术：可靠、适当的技术是网络课程质量的前提和基本保障。我们采用德尔菲法对标准框架和指标体系进行了两轮专家评议，表明整个标准框架和指标体系达到了较高的共识性水平，具有较高的明确性和合理性。另外，我们采用Angoff法对网络课程评价的通过线问题做了初步研究。我们将另外撰写论文详细报告这些研究的过程和结果。
参考文献
1. Advanced Distributed Learning Guidelines for Design and Evaluation of Web-Based Instruction. http://www.. 2001.6 2. Evaluation Standards for Learning Materials in MERLOT. http://www.. 2002.1.17 3. Khan, B. (2000). Web-Based Training. Englewood Cliffs， NJ: Educational Technology Publications. 4. Learning Guide Criteria. http://www.. 2001.9.2 5. Reeves, T. & Harmon, S. (2001). User Interface Rating Tool for Interactive Multimedia. http://mimel.marc.. 6. Roblyer, M. D. & Ekhaml, L. (2000). How Interactive are Your Distance Courses? A Rubric for Assessing Interaction in Distance Learning. Online Journal of Distance Learning Administration, 3(2). http://www./~distance/roblyer32.html. 7. The ASTD Institute E-Learning Courseware Certification (ECC) Standards. http://www.. 2001.9.21; 2002.3.18 8. The Gateway to Educational Materials (GEM) Guidelines for Resource Evaluation. http://www.. 2001.8.21 9. 丁兴富. 网络教育的春秋时代及其对策. 现代教育技术，2001.11 10. 刘成新. 网络教学资源的设计、开发与评价. 电化教育研究，2000.3 11. 熊才平，吴瑞华. 网络课程绩效评价指标体系的构建研究. 现代教育技术，2001.11 12. 祝智庭. 网络教育应用教程. 北京：北京师范大学出版社，2001
英文题目及摘要
Review on the Standard for Evaluating Web-Based Courses
Abstract This paper made a review on the researches and practices of Web-based courses evaluating standards. The related works were reviewed under three major topics: evaluation standards for whole Web-based courses, evaluation standards of broader online learning resources, and evaluation of the specific features of Web-based course such as HCI and interactivity. Conclusions were drawn concerning how to develop the evaluating standard that is proper for Keywords: Web-based course, evaluation, standard, online course
段崇江是清华大学教育技术学专业硕士研究生，现工作于云南师范大学计算机科学与信息技术学院；张建伟系讲师、博士；滕霞系高级访问学者；王学优系副研究员。
联系人及方式 张建伟，zhangjw@tsinghua.edu.cn, Tel, 13910325460, 62782405 |
|
|
