分享

专家约稿|大数据背景下院校教学的事实属性及其评价逻辑 ——院校教学评价中如何用“用数据说话”

 昵称53330904 2021-02-16

大数据方法的运用对院校教学思维方式、教育过程、教育时空、主客关系尤其是教学评价等方面的创新具有显著意义。但是,数据毕竟是外显的表象而非事物本质,因而,在以人为核心的研究和评价领域,“用数据说话”不是简单地、机械地“套用”数据,让数据自己直接“说话”,而是以数据为线索,对数据及其背后的“事实”进行科学的分析、解释,进而进行综合性判断评价。
对于院校教学而言,由于其主客体都是具有主观性的人,所涉及的事件不具有纯粹客观性,具有明显的主体交互性、过程随机性和因素不确定性等特点,因而,要实现“用数据说话”,就必须对数据的来源、途径和效度等进行分析判断,进而进行深刻的洞悉和解释。否则,就会出现数据的误用、滥用而歪曲事实。
美国著名心理学家斯滕伯格在论及有关人的数据的解释时有一段话提醒人们:要“确定统计真正报告了它所涉及的内容”。在院校教学研究中,数据仅仅是解释事件的客观材料,它能为寻找事实真相提供支撑,但有时候并不是“真正”反映了复杂的事实真相,如果不当运用,反而会混淆事实真相。其中的关键就是要把握好数据的处理和解释方法,而前提则是要明确研究事实的类型及相应的数据属性。

一、院校教学评价中的事实类型


“数据”一词,在不同的语境中其定义是不同的,但其根本形态是一种“公共记录”,也就是已有事实所留下的可观测、记录和处理的有形“痕迹”。在院校教学评价中,要运用好数据,首先应把握好教学事实的类型和属性,因为数据与现象、事实、意义之间有着复杂的联系。本文借鉴波普尔“三个世界”理论以及传播学领域关于“事实”的分类,结合院校教学实际,将院校教学所涉及到的事实划分为三类:
一是物理事实,指纯粹客观性、稳定的、可量化测量的事实。例如,“学习课程的数量”、“参加某活动的人数”、“某一群体年龄结构”等等。物理事实也可以称为自然事实,其量化关系通常具有确定性、完备性和稳定性等特点,在数学上通常表现为“离散型”变量,具有可统计性。
二是心理事实,指纯粹主观性、个体性、内在性、体验性的事实。例如,“喜欢”、“满意”、“认同”等。心理事实所反映出的量化关系具有主观性、不确定性,尤其是具有模糊性、连续性等特点。例如,表征心理事实的“喜欢”、“满意”等数据表达往往不是“是”或“否”(1或0)的“点分布”(即{0,1}),而是在0与1之间的连续“线分布”(通常用[0,1]区间表示)。根据模糊数学原理,这种数据通常采用描述模糊状态的“隶属度”来表示,不能简单地用统计方法加以统计。
三是社会事实。“社会事实”也是社会学所关注的一个重要概念,指介于物理事实和心理事实之间的主客观相统一的事实。例如,“法律”、“风俗”、“语言”、“规范”、“道德”等,往往涉及到两个及以上个体通过主观心理作用和联系而形成的事实。与纯客观的物理事实相比,它具有主观性;但是与纯主观的心理事实相比,它不是纯粹的个体性和主观性事实,而是涉及到人与人、人与社会的关系和多个个体的心理互动性,具有“交互性”或者说是“主体间性”。一些社会学家如塔尔德强调,应该从内在的、心理的、自发的层面来理解社会事实,而法国社会学的奠基者迪尔凯姆则更强调社会事实的“物”的特性。他认为,社会事实是指存在于个人之外的具有强制力的行为方式、思维方式和感觉方式。“社会事实”具有外在于人的意识并对人的意识具有强制性等特点,要当作物来研究。从辩证立场看,对于院校教学领域的社会事实,既不能作为纯粹的“物”来看待,也不能当做纯粹的主观性因素看待,要根据实践目的和研究情景来确定。

二、院校教学中的数据属性


与上述“研究事实”的类型相关联,院校教学研究中的相应数据也具有不同的属性,对这些数据的属性进行鉴别和区分,是进一步通过数据来解释事实进而揭示院校教学内在规律的基础。

(一)主客属性区分:主观性事实数据和客观性事实数据区分

主客属性是院校教学领域最重要、最基本的数据属性。社会事实、心理事实与物理事实的基本区别就在于它的主客观属性,因此,三类事实所对应的数据及其处理方法也必须区分主客观属性。区分数据的主客观属性,是运用数据揭示其教育意义的关键。
将“心理事实”、“社会事实”与“物理事实”的数据属性相混淆,实际上是将主观性和客观性混淆,是当前院校教学研究中较为普遍的误区。“物理事实”是自然存在的客观性事实,可以通过观察、试验、测量等手段获取客观数据,这种客观数据是可以运用统计方法进行计算、描述和分析推理的。而“社会事实”、“心理事实”则是依赖于人的主观感受的事实,往往涉及到人的思维、情感、意志和行为,具有许多物理事实不具备的高级和复杂特性,包括历史性、境域性、主观性、非确定性、个别性和非量化性等,它描述的是一个意义世界、精神世界或价值世界。这类事实对应的数据是主观数据,不能简单地运用统计方法计算推理,而要在一定条件下进行属性判断以及模糊性数据处理,适宜于进行定性分析。
对于院校教学而言,其研究的对象主要是“人”及其思想、心理实践活动,其中固然有些现象属于“物理事实”,可以量化、测量和统计描述,但更多的、更本质层面的现象属于“社会事实”和“心理事实”。对于这类涉及到人的动机、愿望、信念、希望等反映主观、精神因素的数据,不能简单地进行统计处理和描述,而应在数据的基础上,主要通过对数据和现象背后意义的洞察以及精神的沟通、理解和领悟来达到。这种综合性的洞察、领悟式分析,是发现事物内在规律的根本方法,是高于纯客观的统计测量的。
因此,真正的科学判断和评价,不是简单地“用数据说话”,而必须在数据的基础上进行深刻的洞察和“解释”。但是,在目前院校教学研究和评价中,忽略主客观事物的属性差异,尤其是忽略“心理事实”、“社会事实”的主观属性的现象较为普遍,很多研究者片面理解“用数据说话”的方法论内涵,将定量研究方法“泛化”和机械运用,盲目追求一些表浅的所谓“数据”,甚至以解释力极弱的数学公式、图表等简单机械地解释和评价一些内涵丰富的思想事实。

(二)来源主体区分:同源性数据与不同源性数据的区分

在研究社会事实和心理事实时,所获得的数据不同于自然产生的客观数据,而是带有主观愿望、需求以及价值取向的研究者与被研究者之间通过交流、测量等活动产生的。因此,这些数据产生的源头、生成的途径,必须遵循客观原则,防止带有主观倾向的“自圆其说”和自我证明。对于主观现象所产生的主观数据,必须严格其数据来源主体、产生途径、测量方法的客观性,避免人为性的主观臆断。
有学者通过实证研究认为,对于主观数据来说,测量方法以及数据类型的不同,会造成数据的相关关系的不同,尤其是“同源主观数据”与“不同源主观数据”,在判断其相关关系上是有明显差异的:主观事件产生的数据受到个体差异的影响,同源与不同源的主观数据带来的结论是不同的。在当前的院校教学研究中,为了研究教育行为、策略与教育效果的相关关系,很多研究者将教育行为与策略作为自变量数据,将教育效果作为因变量数据,通过自己的问卷调查、访谈等方式来获取这两类数据,在此基础上计算两者的相关性,从而证明某种教育方式和策略的科学性。
其实,在这类研究中,由于自变量数据与因变量数据均来源于同一主体,受研究者主观因素尤其是主观评价方式的影响,数据的测量尤其是结果的解释带有明显的主观倾向和价值导向,其客观性、科学性往往难以保证。从现有文献看,这类数据的相关性一般很高。但是,正如上述实证研究所指出的,这类“自编自导”的“同源主观数据”往往会夸大数据间的相关性,应该谨慎使用。因此,为了增强“用数据说话”的客观性和实证性,在主观性事件研究中,必须区分数据的来源渠道和形成路径,区分同源数据和不同源数据,避免同一研究主体“自我产生数据、自我证明相关性”的同源性证明,排除因同源主观数据造成的相关性“被夸大”甚至“虚假相关”的现象。

(三)数据形态的区分:确定性数据与不确定性数据的区分

这是保证数据来源可靠性和数据质量的关键。不管是主观性数据还是客观性数据,都存在“确定性数据”与“不确定性数据”(或者称之为不完备信息)的问题,这也是在数据处理和解释中应该特别关注的。
“确定性数据”是指意义清晰、指代明确、稳定可靠的数据。“确定性数据”可以推导出确定性的因果关系,这种关系是一一对应的。通常情况下,客观性数据由于实证可测,只要收集的手段方法不出现偏差,一般都能保障其确定性。但是,主观性数据,诸如“满意度”、“认同感”、“关系和谐程度”等数据,由于这些主观现象的不确定性,其数据也通常具有明显的不确定性,这些数据往往不是通过客观测量或主体认知机制而获得的,而是通过主观体验机制获得的,需要以综合和特殊的方法收集和处理。尽管主观事件所产生的数据在一定客观规定的条件下,经过客观化处理也可以变为客观性的、确定性数据,但不能直接和简单地客观化,需要进一步分析其中分主客观成分和确定性程度。
在院校教学领域,“不确定性数据”主要是指那些具有测量上具有“随机性”、内涵上具有“不完整性”、意义上具有“模糊性”、关系上具有“灰色性”(不清晰性)、时间上具有不一致性(信度不高)的数据,这些数据之所以不确定,是由于获取数据的途径(认识方法、标准、测量工具、传输过程)失误和获取信息的过程失真而造成的。

三、院校教学不同数据的解释评价


在大数据时代,“可拥有所有数据,从而淘汰过去那种抽样方法”。但是,数据毕竟是事实的“痕迹”而非本质,不能以数据的“统计特征”来代替“意义分析”和传统经典的“理论模型”。数据在解释和评价教育教学质量时需要严格的前提条件,包括数字指标的解释力、指标间的逻辑关系、数据来源的真实性等。因此,数据的“解释”至关重要。如果缺乏解释机理的科学把握,院校教学研究中的“用数据说话”必然陷入“数据主客观混淆”、“数据解释随意化”、“模糊性变量离散化”等误区。当前院校教学研究中,对于不同类型和属性的研究数据,通常有以下四种解释和评价路径:

(一)数学性解释评价

首先,对于确定性数据,通常采用统计学方法进行解释评价。包括描述统计和推断统计两大类。描述统计主要是对数据的特征及其分布规律进行科学的测定和描述,如平均数、中位数、方差等;推断统计主要是通过样本的信息来推断总体的特征,如参数估计、差异检验等。当前,在院校教学研究中,统计学的解释方法较为普遍。其实,以统计学的方法处理和解释数据是有严格条件的,包括数据的客观性、确定性、离散性、稳定性,还有样本的正态分布特征和数量规定等等。由于数据来源、数据质量、数据属性等方面的差异,机械地运用统计方法或者更为简单地运用SPSS等工具是不科学的,尤其是非确定性、非离散数据是不能随意使用统计学方法的。
其次,对于不确定性数据,应采用综合性数学方法来解释。通常是运用“概率论”、“模糊数学”、“灰色系统理论”等数学方法进行处理并加以解释,从而将复杂化为简单、将多维化为单维,将模糊化为清晰,也就是最终将不确定性最大限度地化为相对的确定性。其中,模糊数学方法主要用于解释“认知不确定”等模糊数据,概率统计方法主要用于解释“随机不确定”数据,灰色系统理论主要用于研究“小样本、贫信息、不确定”数据,而层次分析法和德尔菲法主要用于解释“判断不确定”数据。
值得注意的是,每一种数学解释和评价方法对数据都有严格的条件规定,条件不满足,所得出的数据解释评价结果一定会面目全非。例如,在研究两组数据的相关性时,如果样本数量或特征达不到规定的要求,计算出的相关性必然偏离常规。同时,还要保障数据质量,如果数据测量、调查的来源和途径方法有偏差,必然导致数据解释失真。其实,“对每一个调查数据都要应该进行探索性分析,以避免产生垃圾结果。”因此,数学处理解释方法仅仅是辅助性的方法而不是终结性的方法。对于院校教学问题的研究,一定不能“舍本求末”,舍弃内在逻辑分析和意义揭示而陷入“数据主义”的陷井或“统计主义”的泥潭。

(二)挖掘性解释评价

数据挖掘(date mining)通常是指运用数学、统计学、教育学等技术,从大量的不完全的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。美国教育部2012年10月发布了《通过教育数据挖掘和学习分析来改进教学:问题简介》报告称:教育的大数据主要是通过两大类方法来得以分析并用于教学决策与实践的:一是教育数据挖掘,即从数据中寻找新规律和构建新的模型和算法;二是学习分析,即将已知的模型应用于教学系统。借鉴这些思想,我们在院校教学研究中可以探索以下三种数据的挖掘性解释途径:
1、数据的关联性挖掘。就是对已有数据自身逻辑关系的挖掘,包括数据与数据之间、数据与事件之间的逻辑关系的分析。例如,通过在线课程实施中的各种数据,进行数据分类和相关性分析,可以找出大学生情感状态、思想特征与学习成绩、观点创新等数据之间的逻辑关联性,并发现创造性人才的相关数据特征。
2、数据的拓展性挖掘。就是通过已有数据对未知领域进行推断性挖掘。例如:“知识追踪模型”就是一个数据拓展性挖掘的例子。在院校教学研究中,可以借鉴这些方法,按照青年学员思想行为的阶段特征、年龄特征和不同思想行为之间的逻辑相关性,通过以往学生的思想状态数据拓展性挖掘现在的学生思想行为状态特征,通过学生某一类思想行为数据预测其他类思想行为特点,通过当前学生思想行为数据预测其今后思想发展走向。
3、数据的价值性挖掘。就是要挖掘客观数据背后的丰富意义。分析数据的最终目的是为了进行价值性挖掘,从而解释意义。目前,很多院校教学研究采取问卷调查方法,但往往描述性成分较多,数据背后的规律挖掘不够,应该采取将这些描述性数据作为“更深入分析的素材或出发点,而不是结论或决策”。在很多带有主观性的问题调查中,由于被调查者的知识背景、表达方式不同,即使给出的是同样的答案(得分),由于回答者的标准和思维方式差异,其背后的真实意义也许完全不同;而即使是不同的答案(得分),也许由于其表达方式不同而实际上有着相同的内涵与意义。因此,数据本身不足以解释事件的丰富性质,必须从复杂的知识背景、思想和心理形态以及问题情境中,对数据进行价值挖掘。

(三)还原性解释评价

还原性路径主要是运用发生学机理进行“数据还原”,从数据发生的源头挖掘其丰富内涵,以增强数据来源的可靠性。发生学方法是反映和揭示自然界、人类社会和人类思维形式发展、演化的历史阶段、形态和规律的方法,其主要特征是将研究对象作为发展的过程进行动态的考察。在院校教学研究中,对于不同的数据,为了寻找其背后的事件真相,一个有效的办法就是看它是如何发生的,是如何演变为现在的数据的。
1、从问题的概念源头上解释数据的内涵。被调查者或被测验者对调查测验的基本概念的理解决定了数据的内涵。因此,解释数据内涵的前提就是审视概念理解的情况。英国学者乔纳森·格里斯认为:“为了能够在人类科学的要素范围内进行研究,在开始研究之前,你需要对研究的工具和术语是什么以及他们的含义是什么有着清楚的了解”;“如果社会研究术语缺乏透明性和一致性,那么将会走入对术语和惯用语的误用、滥用和误解的误区”。因此,对数据的解释,必须回到问题的源头,审视数据来源的前提条件,从问题的基本概念理解上解释数据的内涵。
2、从问卷调查的设计源头上评价数据的质量。许多问卷调查数据之所以解释力不强,其原因在于调查问卷设计源头的缺陷,因此,必须从问卷调查的设计源头上解释数据质量。问卷调查的前提是否正确取决于三个条件:一是被调查者愿意表达对于被调查问题的看法,没有道德、风俗等方面的顾虑(如伦理、社会认同价值的压力等);二是被调查者有相当的理解和表达能力,对调查的问题有充分的理解和流畅的表达;三是调查者与被调查者对问题的理解和表达是一致的,不会出现“盲人摸象”的错觉。通过这几个前提条件的分析,可以解释数据的信度和效度。

(四)体验性解释评价

在心理学意义上,体验是由感受、情感、理解、领悟等诸多要素构成的,是在对事物真切感受和深刻理解的基础上对事物产生情感并生成意义的活动。在众多教育现象中,能为我们“观察”的、能以数据和事实现象“表现”并为我们所“描述”的成分如同冰山一角;而本质层面的东西往往需要我们深刻洞察和“体验性”反思。对于数据来说,其形成的过程是一个丰富的主客观统一的过程,只有亲身体验其中的内涵,才能真正解释数据的真实意义。
一是从数据的“数字描述”转变为宏大的“文化考察”。例如,西班牙《国家报》一项对17个国家民众关于对世界未来的预期的调查研究中,研究者在调查数据比例排名基础上,进一步研究分析各国民众幸福感的历史文化背景,并从城乡不同居民幸福感的成因来解释数据,从而深度揭示了民众的文化心理。
二是从数据的“逻辑测量”转变为事件的“意义体验”。因为院校教学现象和数据都涉及深层次的心理和思想体验,无法直接获取客观的、简单的“问答式”、“测量式”、“统计式”数据,因此,必须以数据为基础,进行意义体验。
三是从数据的“外在统计”转化为规律的“内在分析”。或者说是融入式研究,即评价者身在其中,与评价对象在一个体验和感知平台上,也就是从“面对面”的观察性评价到“肩并肩”的体验性评价。

(作者联系方式:李小平,13986155641,lxping6311@163.com)

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多