奇书网

第二节 学校效能的测量（第1页）

第二节学校效能的测量

一、学校效能研究方法的演进

学校效能研究从其产生开始，就一直面临来自各方面的挑战，正是在应对这些挑战的过程中，学校效能研究在内容上不断丰富，在方法上也不断成熟起来。随着对教育效果与教育过程的实证研究的增多，教育政策的制定与实施效果评价也逐渐进入学校效能的研究视野，从而形成了多视角、多层次及多范式研究的新型研究模式。这种新的研究模式，弥补了教育研究领域那种脱离课堂及学校实践的教育经济学研究模式的不足，拉近了研究与现实，以及理论与实践的关系，使教育政策的制定能够建立在科学研究的基础上。此外，学校效能研究在方法上的发展也为教育研究方法的进步作出了贡献。其中，“多层线性模型”（MultilevelLinearModel，简称HLM）的发展与应用，拓展了教育研究所能考察的变量的范围，弥补了传统实验室设计不够切近现实的缺陷，能够在真实的环境中，采集多种变量之间的关系，并对真实世界中事物之间的因果关系进行检验。多层分析不仅仅是一种统计分析技术，而且是一种新的研究设计思路。它的提出与应用也广泛地影响了社会科学其他领域的发展。

目前，学校效能研究已发展成为一种综合采用观察法、调查法、测量法、实验研究、个案研究等多种方法，并将质性与量性研究相结合的整合研究领域。在这个过程中，学校效能研究在方法的进步，是其应对来自各方面的批评与挑战的结果。在不同时期，学校效能研究所面临的挑战有所不同，因而其在方法上的进步表现也各有侧重。其在方法的进步表现出三个阶段的特点：

1。1960年代—1970年代，学校效能研究主要面临统计分析方法及研究样本大小的挑战。在研究方法上的进步表现为：寻找替代传统回归分析方法的新技术，并开始在研究设计上考虑进行有效推论所需要的最小样本数。

传统回归分析技术对数据分析层次的限制，以及大型研究在取样上的局限，是这一时期的研究受到攻击的主要原因。科尔曼（an，J。S。，1966）所做的教育机会均等调查，和詹克斯等人（Jeal。，1972）的《美国家庭和教育影响再评价》报告，在英国有鲁特等人（Rutter，etal。，1979）所做的纵向研究和雷诺兹等人（Reyal。，1976）所做的学校效果研究。科尔曼和詹克斯的研究是基于传统的多元回归分析技术，在选取大量学校，采用学校水平的测量及学生水平的社会经济背景的各种测量的基础上进行的，这些研究均是横断研究，没有做出任何入学（intake）调整。而鲁特等人则因样本太小而无法得出有推广价值的结论而遭到质疑。为应对挑战，研究者们开始寻找替代传统回归分析的新统计技术，并尝试在研究设计的取样上，考虑有效推论所必需的最少样本数。

2。1980年代，学校效能研究主要面临研究方法多样化及研究结论重复验证的挑战。而应对这些挑战而在方法上的进步表现为：采用实验研究和准实验研究等方法，并寻求更加复杂的统计分析技术来探讨学校教育的效果及学校之间的差异。

这一时期，学校效能研究所面临的方法上的挑战表现为4个方面：（1）研究的基本发现能否被其他调查重复；（2）研究结果能否经得起更复杂的统计技术（如多层回归分析模型）的检验；（3）在小学是否也会发现同样的结果；（4）学校效果研究的结论能否同样应用到不同的社会和种族中。

在应对这些挑战的过程中，各种验证因果关系的研究方法被广泛地应用到学校效能研究中，如实验研究和准实验研究等。为弥补传统回归分析的不足，有些研究者开始发展多层线性模型，但由于其计算上的复杂性，这一时期还难以在研究中应用这种技术。

3。1980年代末和1990年代，学校效能研究面临全面的概念挑战，为应对挑战，在方法上的进步表现为采用更加复杂的研究设计，探讨学校作用的内在过程及机制。

1980年代末，学校效能研究面临着全面的概念挑战：（1）许多人提出了对学校效能概念的质疑，需要重新界定学校效能的概念；（2）有关学生心理和功能发展的心理社会性影响的结论也面临挑战，这种挑战首先来自于1990年代以后，生物学领域兴起的基因革命引发的学术界对环境影响人发展的信条的怀疑，其次则来自于对横向研究方法缺陷的不满。这一时期的研究，在方法上强调不能仅仅满足于发现危险的有效指标，而是要除了观察事物的联系之外，还要对因果假设进行严格的检验，来识别关键的中间机制，并理解相互作用的过程和多个关联环节的过程。这一时期的研究有6个方面的特点：（1）通过纵向研究数据测量个体的变化；（2）采用自然实验将混在一起的变量分离开来；（3）对假设的原因变量进行有效的测量；（4）系统地检验某种反应的变化，如学习成就、学习态度及行为等；（5）从几种假设的机制解释中明确出一种；（6）充分控制社会选择、初始水平和自我完善等因素的效果。

就此，经过三个阶段的发展，学校效能研究在方法上逐渐走上了综合化发展的道路，并逐渐形成了一种整合性研究的新模式。

二、学校效能的测量

学校效能的测量方法的进步是推动学校效能研究发展的主要动力。学校效能的评价涉及两个方面，一是学校效能的测量，二是学校之间效能差异的测量。

测量是对那种可以以线性的方式来加以描述的量分配数量的过程。凡存在都有量的特征，但并不是所有量的特征都能被测量。只有那些能够被当作线性量的特征，才能用数量加以描述。对某个事物的测量事实上就是把这个事物分配到一个抽象连续体的某一点上，这个连续体要足够长，并且有一个起点，其一端代表较少的量，另一端代表较多的量。这个连续体就是一个合适的量表（如一把尺子），有了它，我们就可以把个体的某种特征分配到这个量表的某一点上。这个合适的量表就是有起点（称之为原点）和测量单位（计算量的依据）的尺度。所有的测量都意味着将所测量的特征表述为一种抽象的线性形式。

对学校效能的测量就是要以线性方式表述学校效能特征，并依据一定尺度来为每个学校分配一个学校效能量。学校效能一般是指学校对学生成就增长的贡献。由于影响学生成就增长的因素是多方面的，因此，学校效能往往与其他影响学生成就增长的因素混在一起，所以，必须在排除学校以外的其他因素的影响后，才能准确测量学校效能。

如果学校在除了教育质量以外的其他影响成就的因素上都等同，那么学校效能的测量将变得非常简单和直接。学校在教学质量上的差异将成为学校之间成就差异的唯一可能来源。因而，学校效能将等同于学校成就，而学校平均成就差异将是学校效能差异的有效测量。

然而，现实生活的状态并不是这么理想，学生并不是随机地分配到学校，因此，我们需要获得许多被假定为影响学生成就的学校之间的变量因素的信息，如父母的教育水平、家庭收入水平、班级大小、学生的个人能力与动机等，这些因素都要被有效测量。此外，学校之间在获得其他文化和教育投入（如丰富的项目）以及外部资金上的差异也可能影响学生成就。因此，学校在学生特征及非学校教育投入上的不平等，使人们不能简单使用学校成就来识别学校效能。学校之间的成就差异可能在某种程度上是这些“初始”差异造成的，而不是学校的效能差异。学校除教育质量以外，在许多其他方面存在的差异也反映在其成就水平上，因此，要测量学校效能的真实水平就需要分离出这些初始外部因素的效果。

目前常用的测量学校效能的方法主要是“附加值”法，又称统计控制法（statistitrol，SC）。其实质是对学校之间除教育质量以外的其他初始差异进行统计控制，通过多元回归分析，计算出各种初始差异对学校成就的贡献，得出各初始差异的预测方程，然后，再在学校的实际观察成就中排除由初始差异预测方程所估计出来的预测成就，其剩余的部分（又称残差（residuals））就是学校的效能。在这种情况下，学校效能被操作化定义为：观察到的（实际的）学校平均分与基于这些特征预测的平均分之间的差异（也就是回归残差）（Goldstein，1997）。这些残差提供了识别“异常者（outliers）”的基础。

直到1980年代以前，学校效能研究均是采用传统的多元线性回归技术来获得预测回归方程。传统回归分析没有区分学校层次的变量和个体层次的变量的不同影响，此外，还存在多元共线性问题，因此，这种方法所得到的结果一直受到人们的质疑。后来，直到1980年代末甚至1990年代，才开始使用多层分析模型来估计学校效能。

在1980年代和1990年代，人们主要关注学校效能指标（又称为“表现指标”（performaor））的生产和使用，大多数研究都采用学校平均成就分数测量。这引起了很大的争议，以学校平均成就分数作为学校效能指标的主要问题在于以下两个方面：

1。这类指标的用途非常狭窄，主要在于对学校进行排序，它并不能解释造成学校差异的原因。

2。大量研究显示，这种“表现指标”在提供有关学校的可靠信息方面存在着严重的局限：（1）它很难提供一个能够抓住学校特征的所有重要方面的简单的单维或二维的区分学校效能的测量；（2）用于分析学校表现的信息通常来自于几年前进入学校的一群学生，这些结果能否应用于未来学校的学生身上，是有待探讨的问题；（3）对学校或教育机构的效能判断不能仅靠一群学生某一时的表现，而是要看他们在一段时间里表现的变化，对学校效能的比较，要基于对入学成就和其他相关因素的合适的调整，但即使这样做后所产生的教育“附加值”（或增值）估计，也常常有很多的不确定性，使得它难以提供可靠的排序。

总之，统计控制方法存在不可回避的内在局限，这表现在以下三个方面：

1。在统计控制中，因为缺乏广泛的学生成就因果模型，所以可能会忽略一些重要的变量，预测方程不能包含所有的相关变量。此外，由于测量方法或逻辑上的困难，也会丢失一些重要的变量，例如，预测方程常常只包含了有限的社会人口学特征，如教育水平，家庭大小等，而忽略了难于测量的相关特征，如智力、动机、学习时间等。这会降低统计控制的效果，导致对学校效能的估计偏差。例如，忽视学校在学生动机上的差异会导致我们高估学生动机高的学校的效能，而低估学生动机低的学校的效能。

2。按照定义，学校的效能估计就是预测等式的残差，这不是一个衡量学校效能的绝对标准，而只是一个相对标准，因为，在一定取样范围的学校中，总体的残差是为0的，因此，应该有一半的学校的残差大于0，而另一半的学校的残差则小于0。这样，无论学校的真实效能如何，都会有一半的学校被判断为有效，而另一半的学校被判断为无效。可见，一个学校是否有效，会受到与之比较的学校情况的影响。因此，“附加值”估计只能作为一种用来识别“异常者”的初筛工具，而不能用来定义学校的效能。它不能准确描述学校能做什么。以“附加值”来判断学校改进也存在同样的问题。

3。目前所采用的统计控制方法大多使用了学校总体的社会经济特征（SES）来估计预测成就，对其他影响成就因素的变量的控制还很不够。因此，这种方法在很大程度上难以反映真实的学校贡献情况。

例如，科尔曼所提出的学校效能测量模型，就是以学校总体的社会经济地位来估计预测成就，并基于这个预测模型在学校层面对学校观察平均成就水平进行校正，以此来评价学校效能的一种模型。当然，后来的研究者在对学校观察成就水平进行校正时考虑了更多的因素，例如，英国学者卡腾斯（ce，1992）所提出的学校效能测量模型就是基于学校层面的校正和学生层面输入校正后，来估计学校效能的一种模型。但在学校层面他只考虑了学生的平均社会经济地位的贡献，在学生层面则只考虑了学生原有的入学成就的贡献。其具体的测量方法可以由图13-3表示：

图13-3

图中直线表示某地区所有样本学校的家庭社会经济地位与学业成绩的正相关关系，A校学生的平均社会经济地位是1，B校学生的平均社会经济地位是2，A校学生的观察成就分数高于其社会经济地位预测的成就分数P1，而B校则低于其社会经济地位所预测的成就分数P2。学校平均观察成就分数与按照SES预测的学校成就分数的差异，就是衡量学校效能的指标。