二、实验研究质量评价的主要指标
教育实验效度是实验研究法质量评价的主要指标,它是指一项实验研究法结果的可靠性和有效性,可分为内在效度和外在效度(1966年由坎贝尔和斯坦利提出)。其中内在效度与实验结果的可靠性有关,外在效度与实验结果的有效性和推广性有关。
(一)实验研究法的内在效度
内在效度指自变量与因变量之间因果关系的真实程度,表明因变量的变化多大程度上来自自变量的影响,内在效度高,说明因变量基本由自变量的变化导致,实验效果可靠性高;反之,则实验结果无法准确解释,难以确定其结果究竟是由实验处理产生,还是由其他无关因素所导致。
实验研究法内在效度的高低,取决于对无关变量控制的程度。影响内在效度的无关变量主要包括以下八种。
1。履历效应
也叫历史的影响或同时事件,是指在研究进程中出现的实验处理以外的各种事件对实验结果所产生的影响,如停电、大众传媒等的影响。
2。被试的成熟
指随着时间的推移,实验研究进程中被试自身发生的自然成熟(如生理、心理的发展,知识、技能和经验的增长,身心疲劳等)会降低实验研究的内在效度。
3。前测效应
也叫测验,指在前测和后测内容相同或相似的实验研究中,学生在前测中得到的关于测验内容和技巧等方面的经验可能会影响到后测的效果,进而影响实验研究的内在效度。
4。测试手段、工具的一致性
指工具的测量方式、评判标准、实验者等的异同都会影响到实验的结果。一般来说,采用标准化测验及同一主试内在效度较高,采用自编测试工具及不同主试内在效度则相对较低。
5。被试选择的偏差
指在选择被试时,实验组与控制组被试在如知识基础、能力、态度等的方面不对等会影响实验结果,从而成为影响实验研究内在效度的一种因素。
6。被试的缺失
指在一个持续时间较长的研究中,有些被试可能迁居、生病等原因中途退出实验组或离开控制组,由此造成两组被试不等,影响研究结果。
7。统计回归
也叫中值回归,指有前后测验的实验研究中出现的一种趋于平均数的常态回归。在研究中最好不要采用将极端分数者(高分或低分者)单独分组。
8。多种研究因素和条件的交互作用
指以上其中因素彼此之间的交互作用,是构成影响实验研究法内在效度的另一因素,如被试选择与成熟的交互作用等。
内在效度是评价实验研究法本身质量的基本指标。内在效度越高,说明实验研究法设计和实施过程的科学性和规范性水平越高,反之亦然。
(二)实验研究的外在效度
外在效度指实验结果的概括性和代表性,即实验结果可以推广到其他对象或情境的程度,也就是实验研究的推广度。
影响实验研究法外在效度的主要因素有以下四种[14]。
1。样本的代表性
实验所选样本的代表性程度,决定了实验结果的对象推广程度。实验样本所代表的总体范围越广,实验结果推广的范围也就越广。如在幼儿园大班实验的结果,只能适用于大班,而不能推论到中班或小班。
2。对实验处理的描述
实验结果的推广具有重复性研究的特点。如果实验处理的具体实施方法描述得比较详细、准确,在推广过程中的重复程度就高,反之,就无法进行重复性研究,也就无法将实验结果进行推广。
3。实验者主观因素和被试主观因素
在实验研究中,实验者和被试的主观态度和情绪都会影响到实验结果的普遍意义。如果实验者和被试对实验的态度保持中立,实验产生的结果就比较中立,实验结果就会顺利推广,反之亦然。