以学生未来的收获来衡量它的作用

摘要: 2012年2月，纽约时报走出了非同寻常的一步，即出版了纽约市将近一万八千名教师的表现排名，这份排名通常称为增值测量，是基于他们学生分数的增长。在这一动作下，紧接着洛杉矶第二年就发布了相似的排名，吸引了越来 ...

【小木虫讯】 2012年2月，纽约时报走出了非同寻常的一步，即出版了纽约市将近一万八千名教师的表现排名，这份排名通常称为增值测量，是基于他们学生分数的增长。在这一动作下，紧接着洛杉矶第二年就发布了相似的排名，吸引了越来越多的注意力来把增值测量分析作为教师评价的一种工具。在依靠经常化的草率课堂观察作为教师表现评价的数十年后，从华盛顿到洛杉矶的各个学区现在开始部分依赖增值测量或是在其他情况下用它作为补救差异的基础测量方法。

出版增值测量的报纸毫无疑问享受因测量方式所带来的关注，但是从我们的视角来看最大的问题是增值测量是否应该用于教师的评价。支持者们认为增值测量可以用来决定教师的选拔、培训和解雇，由此来提高学生的成就。然而批评者则主张这种测量方式并不能衡量教师的质量，不应该用它来做高风险的决定。奥巴马政府已经正面同意了支持者，出台了一系列的项目来鼓励各州基于增值测量来建立自己的评价系统。

关于利用增值测量优点的争论主要来源于两个问题：首先，增值测量真的能起作用吗？换句话说，它真的能够准确的评价老师对他们学生测验分数的影响？一个令人担忧的问题是增值测量不能准确奖赏或处罚老师。因为学生群体不同，他们具有不同的性格特点。当把他们分配给老师时，增值测量分析的典型性就忽略这个因素。

第二，长期来看增值测量真的重要吗？例如，那些能提高学生测验分数的老师也能提升他们的学生在成年时的成就或是他们仅仅只是擅长教会学生应付测验呢？最近的研究表明高质量的早期童年教育对学生以后的成就有很大的影响，比如对他们完成大学教育和成年的收获。但是没有研究证明被增值测量所评价为高质量老师的长期影响能够有此作用。

为了解决这两个问题，我们对学区内的3至8年级的二百五十万儿童的数据进行了分析，并与他们成年后的成就以及他们父母的的特点联系起来。我们发现老师的增值测量值是起作用的并且是重要的。第一，我们发现增值测量准确的预测了老师对测验分数的影响，一旦我们控制好学生的性格特点把握合适的时机开展增值测量。第二，我们发现分配给高增值测量值老师的学生更可能进入大学，接受更高质量的大学教育，挣的也更多，有更高的经济地位，也会有更多的退休金。他们也极少有可能在少年时代就生孩子。

4到8年级的老师对他们学生以后的成年生活有巨大的影响。平均而言，老师增值测量值一个标准差的提升即相当于有一个占比84%的而不是一个50%增值测量值的老师在一个年级中可以提升学生28岁时收入一个百分点。如果用一个平均水平的老师来替换一个处于底部5%增值测量值的老师，那么就可以使一个典型课堂学生一生的收入提高一百四十万（相当于现如今的二十五万美元）。简言之，好老师可以创造客观的经济价值，而增值测量则能够有效的区别老师。

我们的发现回应了哈佛大学教育学教授 Linda Darling-Hammond和她同事最近发表的Phi Delta Kappan文章三个主要的对增值测量的评论。我们直接采用能够标准化增值测量的准实验测试而不是基于把学生分配给各位老师。值得强调的是，增值测量能够成功度量而排除其他非老师因素对学生进步的影响。我们也发现了尽管增值测量每年都会浮动，然而基于几年数据来选择老师对学生的收获像挣钱来说其实质性的影响仍然是十分稳定的。

数据

我们利用的两种来源的信息：学区关于学生和老师的记录以及来自政府部门的相同学生和他们家长的数据信息如纳税记录。学区数据包括学生的注册历史、测验分数和来自政府部门的对大的城市学区老师任职的记录。这些数据涵盖了1988-89到2008-09年间从三年级到八年级大约二百五十万儿童。

学区数据包括了将近一百八十万测验分数。测验分数则是1989年到2009年春季3年级到8年级的学生在英语语言艺术和数学上的。在相同时期早些时候，这些测验只是针对学区的，但是到2005、2006年这些测验扩展到了全州，并且在《不让一个孩子落后》的法律条文中被要求。为了计算混合不同测验分数的结果，我们以科目、年代、年级对测验分数进行了标准化。学区数据也包含了关于学生的其他信息，像种族、性别、免费资格或低价午餐（贫穷的衡量标准）。

我们关于学生成年后的结果数据包括收入、是否上过大学、大学的质量怎么样（用相同大学以前毕业生的收入来衡量）、邻居的质量（用他们邮政区号内大学毕业生的百分占比来衡量）、女性少年时的生育率（用女性还是少年时是依赖出生为衡量标准）、退休金（用对401（k）计划的贡献来衡量）。父母的性格特点包括家庭的收入、婚姻状况、房屋所有权、401（k）储蓄和孩子出生时母亲的年龄。

增值测量真的起作用吗？

增值测量分析旨在通过对比相同学生被其他老师教授一年后学生的测验分数从而来排除随机因素对老师教导学生对其以后成就的影响来确定老师对学生的表现能有多大程度的影响。这些对比同样也把学生之前的测验分数、他们是否复读了一年、特殊的教育情况和有限的英语能力。我们也控制了老师的经验、班级和学校的特点，包括班级大小和学术表现、和所有学生在相应的教室和学校的统计数据。

许多其他的研究者所采用教师增值测量的方法与我们的相似，因此毫无疑问我们得到了相似的结果。例如，我们发现教师增值指数增加一个标准差分别相应地提高学生12%的数学和8%的英语分数标准差。在所有的学科中，这种差异等同于将近三个月的额外指导。

我们能把这作为老师们对学生测验分数影响的证据吗？最近由经济学Thomas Kane, Doug Staiger, Jesse Rothstein和其他一些人已经就增值测量是否能够用这种方式来解读得到了不同的结论。批评者们尤其抗争的是增值测量很像是基于学生被指定给老师们这种方式的偏见的结果。例如，一些老师可能是一直指定给他高收入家庭的孩子，尤其是当学区在计算增值测量时因为他们没有准确收集家庭收入的情况下考虑。我们采用了两种新的测试来验证增值测量是否有偏向的。

我们的第一个测试是是否实际上高增值测量值的老师倾向于被指定给来自更有优势的家庭。我们对家长们的社会经济地位做了一个全面的统计，包含上面所提到的家长的特点。不出所料，父母的社会经济地位能够很好的预测学生测验的分数，它们看上去有简单的相关性。我们发现没有优势的学生的确更倾向于被指定给具有低增值测量值的老师。然而，控制学区数据库中一些可得到的有限类别的学生的特点，像之前学习的测验分数，对于基于父母的特点来高效的分配学生给指定的老师。也就是说，如果我们有连个学生的四年级测验分数、人口统计学、教室特点还有其他等等条件相同，那么在五年级时被指定给高增值测量值老师的学生就确定性的有一个不同父母的收入或其他特点。

第一个测验说明了，增值测量中的任何偏见来源于我们未能对学生父母特点的观察。然而，基于未测量的特点被指定给老师而不与他们父母的社会经济地位相关的可能性还是存在的。例如，校长确定会把更调皮的学生指定给他所相信的能接受这项挑战的老师。另外，校长们也许会指定相同类型的学生给他们最没有影响力的老师，那些他们不需要担心不见。我们的第二项测验旨在由这种分类所引起的偏见的数量。

这样，我们选用了同一所学校里临近的班级学生的实际，即他们经常会被指定给有着不同增值测量值的老师，根据则是教师的任命和更换特征。在我们的分析阶段，我们数据中的有大约15%的老师被调去同一所学校里的不同年级从一年到几年，6%的老师被调往同一学区的不同学校，另外还有6%的老师则调去了其他学区。目的学校教职工一年年的改变所产生的增值测量的不同是不可能与学生的特点相联系的。

这样理解，假设一位四年级高增值测量值的老师在第一学年的伊始进入学校。如果增值测量能够真实的反映老师对他们学生的影响，那么进入那个学校的四年级学生在学年末相对于其他四年级的学生来说就会获得更高的测验分数。同样的，对比这些连续不断的相同的四年级学生，测验分数变化的差距大小是与年级中所有教师的增值测量均值改变相适应的。例如，在一所学校有同样班级大小的3个四年级班，用一个具有0.05标准差增值测量值的老师来替换一个有0.35标准差增值测量值的老师应该可以使四年级学生的测验分数提高0.1个标准差。

实际上，这就是我们发现的，如上图一所示的。为了得到这张图，我们首先把增值测量值前5%的老师的值作为”高增值测量值”，把末5%的作为“低增值测量值 ”。图一展示了高增值测量值老师来到以前对照学生们测验分数的平均值。我们发现学年末由高增值测量值老师所教年级和科目的学生的测验分数标准差立即增长了约4个百分点。这种对测验分数平均值的影响同样量的增长我们已经预测的在那个年级老师增值测量值平均值的增长。

我们得到了同样的验证当我们考察高增值测量值老师的离职和低增值测量值老师的入职及离职时。当高增值测量值老师离职，那么他所教那个科目、年级及学校学生最终的测验分数就会下降。同样的，学生们得宜于低增值测量值老师的离职而受害于低增值测量值来的入职。

总而言之，这些结果给予了一个直接的证明，那就是开除低增值测量值的老师（末5%）和雇佣高增值测量值的老师（前5%）可以提升学生们的学术成就。但是，那剩下的90%的老师呢？当我们为所有的老师做类似的测试时，我们又发现在同一所学校教职工质量的改变对对照学生在测验分数上的改变具有极大的预测性。而且，在中学，学生们经常要在不同老师的教授下学习数学和英语，我们发现数学老师的到来和离去能够影响数学的分数而不是英语的分数，反之亦然。

采用这些方法，我们能够计算我们增值测量中的偏向性。我们发现偏向性的程度，平均而言，少于2个百分点。因此我们做出结论，标准的增值测量能够精确的反映老师对他们学生测验分数的影响。尽管结论在其他设定情景下会发生变化。，我们的方法采用了自然老师的流动来评估增值测量的偏向性。这种方法可以被学区贯彻来评估他们增值测量模型的精确性。

增值测量真的重要吗？

即使增值测量精确的估计了老师对学生测验分数的影响，它仍旧说明了高增值测量值的老师仅仅擅长教学生会考试或是通过收缩学期中科目的材料抑或通过让学生学习应试技巧来一贯的提升测验的分数而不会对学生以后的生活有益处。为了验证这点，我们测量了老师们增值测量和他们学生成年以后的收入的关系。我们比较了4到8年级的指定给高增值测量值老师的学生和低增值测量值老师的学生，调研了他们成年后的收入。

我们发现高增值测量值的老师能够提升学生在20岁进入大学的几率。（见图2A）。让一个增值测量值高1个标准差的老师教一个学生，那么这个学生在20岁进入大学的可能性将会增加0.5个百分点达到1.3%。高增值测量值老师的学生也能够进入更高质量的大学，通过对这些大学以前毕业生收入均值的计算。

直到20岁末一个人的收入才开始稳定，所以我们主要分析了学生们28岁那年的收入。我们的观察中更高效的一群学生的最大年纪。我们发现之前在高增值测量值高1个标准差老师班上只学习一年时间的学生在28岁能够多挣182美元，或者收入提高1个百分点（见图2B）。如果那1个百分点的优势在个人的整个事业过程中保持稳定，那么他们总的加起来就可以多挣25000美元。

除了可以提升收入外，我们同样也发现老师增值测量值的提升能够显著减少女学生在少年时期生小孩的概率，学生成年后生活附近邻居的社会地位也会上升，增加40万退休存储率。而且，提升教育会更加的使一些我们不能测量的方面但是已经被其他研究所验证的地方，像减少犯罪和提升居民关系。

总之，我们的研究证明了高增值测量值老师的学生的好处不仅仅只是学期末数学和阅读测验分数高，而且可以提升之后生活的收入。这些影响的程度也许看起来很小，但是回顾他们反映了一位高增值测量值老师仅仅一年的影响，随着时间的推移那些学生们在一定程度上也会被指定给更多地高增值测量值的老师。同样重要的是，一个高增值测量值的教师不仅仅对一位学生有这样的作用而是对整个班级，常常是关于本门课程所有班级的学生的职业。

政策建议

在最近的文章中（参见“教师评估”，特点，夏季刊 2011）， Eric Hanushek赞成解雇末5%增值测量值的老师。然而，像这样的政策会需要许多超出我们研究的成本和利益，我们能经过我们分析计算它对学生收入的影响来理解暗示的程度。我们的估算暗示了用一个平均增值测量值的老师来替代增值测量值处于末5%的老师可以增加学生们的累积收入达140万美元在他所教的一个班级。这个收入的价值相当于现在12岁267000美元，以5%的利息折扣。然而，认识增值测量中的不确定性很重要，这些估算也许只是基于几个班的学生而已，所以替换确认的老师基于数据有限的年限的影响力是很小的。我们估算了缩减末5%增值测量值的老师基于年度数据可节省大约相当于现在135,000美元的价值，190,000美元基于三年的数据。这些好处，然而仍旧很大，可以与任何相关政策的成本相比，向老师要求高额报酬以弥补他们可能被解雇的风险。

我们同样也估算了付高额薪水给高增值测量值老师而不是增加留存率政策所带来的期望的回报。来自哪些政策的回报看上去只比他们的成本高那么一小点。尽管维持一个增值测量值在95%的老师在三年以后的收益将近20,000美元每年。许多奖金最后给了高增值测量值的老师那些在没有额外付给报酬情况下留下来的老师。替换低增值测量值的老师因此可能会是需要花费巨大成本的政策来在短期内提高教师的质量而不是付与更多来维持高增值测量值的老师。长期来看，高薪水能够吸引更多高增值测量值的老师同教得更专业，一个潜在的重要收益是我们没有测量的。

然而，这些计算表明了老师对学生影响的重要性，他们并不为自己设计一个可选择的老师评估、薪水、抑或是绩效工资政策的蓝图。在学区内评估老师并不是基于测验的分数和我们学习的时间。增值测量也许在辨别老师对他们学生长期积极的影响是不起什么作用的，如果老师反映他们在评价系统中的作用是埋头于练习像教学生考试或是公开抄袭。另外，我们的分析不会将增值测量同其他方式的对老师质量的测量做比较，像基于课堂观察，那个也许与增值测量得分来比对老师长期的影响是更好的预测方式。

总之，我们的研究阐明了好老师对他们的学生具有十分重要的价值，而增值测量是测量老师表现的一个潜在的有价值的工具。我们最需要关注的一点是我们发现政策对于提升教学质量更可能是让步于可观的经济和社会利益的。

（张建编译）

以学生未来的收获来衡量它的作用 | 责任编辑：虫子