新的统计模型提高了标准化考试成绩的预测能力?
优秀的试卷、较高的平均分和优秀的标准化考试成绩,有时并不足以被大学录取。
持续的高考丑闻凸显了标准化考试分数的影响。考试管理员现在正在与其他付费家长进行调查,以确保他们孩子的考试分数是固定的。
大学录取决定使用标准化考试成绩作为申请人在大学表现的预测指标。然而,如果有一种更好的预测学习方法,不依赖于单一的高风险测试,会怎么样呢?
亚利桑那州立大学和丹佛大学的研究人员设计了一种预测学习成绩的方法,这种方法的预测能力是单一标准化评估的三倍。研究团队开发并验证了一个统计模型,该模型使用随时可用的考试分数来预测未来的学术成就。这项研究将发表在《多重优艾设计网_设计模板行为研究》上。
ASU心理学助理教授、论文第一作者Daniel McNeish表示,每个人都会在某个时候受到测试的影响——测试用于对招生甚至职业安置做出高风险的决策——我们开发的模型可以捕捉数据中的情况,比现有方法更好地预测未来的表现。
当前的能力并不总是能预测未来的学习
许多标准化测试旨在进行一次性评估,而不是为长期表现提供信息。丹佛大学助理教授、该论文的第二作者丹尼斯杜马斯说,这些测试有时被用来预测任何参加测试的人的未来表现,但事实上,很少有测试能做到这一点。认为个别测试不能完全衡量学生未来学习潜力的想法并不是什么新想法:社会学家、历史学家和民权活动家WEB DuBois在大约一个世纪前就提出了这个想法。
杜马斯补充道:从单个时间点获得的考试成绩可以很好地反映某人在考试中所了解的情况,但通常无法提供有关学习潜力的信息。考试成绩通常用来表示一个人可能从未来的教育中受益多少,但这个概念与考生现在知道多少完全不同。
为了开发这个模型,研究小组从以色列心理学家鲁本富尔斯坦的工作中获得了灵感,他在学校和年级对大屠杀的儿童幸存者进行了测试。基于一个考试分数的等级等级分配通常太低,因此Feuerstein开发了一个叫做动态评估的测试系统,它使用在一段时间内收集的多个考试分数来衡量孩子的学习能力,而不是他们当前的知识水平。动态评估是劳动密集型的,难以大规模实施。研究团队利用先进的数学模型和计算能力解决了这个问题,从而创造了一种称为动态测量模型的新方法。
连接点
动态测量模型使用一系列测试分数来预测未来的学习能力。该模型根据考试成绩随时间的变化拟合出一条曲线,通常看起来像一个横向字母J,通常称为学习曲线。学习曲线上的点代表当前的知识量,曲线的最大值或上限就是学习潜力。利用幼儿园到8年级的标准化考试成绩,研究团队最近表明,动态测量模型可以拟合学习曲线,预测学习潜力。
研究团队想知道该模型可以预测学习潜力的程度,从而预测其实际准确性。他们使用了加州大学伯克利分校人类发展研究所的三组数据。包括20世纪20年代和30年代3岁时开始的数据集中参与者的测试分数。参与者被研究了几十年,直到20世纪50年代、60年代和70年代。
由于大多数标准化测试都在学校进行,研究团队使用动态测量模型来拟合20岁以下加州大学伯克利分校参与者的测试分数。团队通过让模型完成曲线来预测每个参与者未来的学习潜力。然后,他们将50-70岁的实际测试分数与模型预测的结果进行比较。
McNeish说:动态测量模型捕获的方差是其他方法的三倍,包括单个时间点的测试分数。换句话说,我们的模型预测的最后得分要好三倍。如今,学生被如此频繁地测试来衡量他们的进步,但每个学生都可以通过获得多个分数来实现超越自己进步的目标。它们可以组合成一个学习潜力分数,以提高对人们的技能和能力预计将在哪里结束的预测,并且它们将在未来保持相同的轨迹。
利用标准化测试的潜力
使用动态测量模型预测学生未来的学习潜力不需要改变政策或进行新的测试。该模型要求的考试成绩已经存在,通过《不让任何一个孩子落后法案》和《每个学生成功法案》获得。
麦克内什说:动态测量建模可以在没有专用计算机的情况下运行,并且不会比该领域使用的标准统计模型花费更长的时间。逻辑上来说,各方面明天都可以实施。
研究团队目前正在开发传播动态测量模型的软件。
精彩评论