J博肯施泰特吞噬数据作为德保罗大学负责招生管理的副校长，他研究了该校1.6万名本科生的表现，试图预测他们的表现。许多处于他地位的人会转向标准化考试，如SAT (Scholastic Assessment Test)和ACT (American College Testing)。但Boeckenstedt认为高考在大学录取中占有太大的比重。他说:“我们知道，对有些学生来说，考试并不能代表他们的真实能力。”如今，美国有800多所四年制学院和大学不再要求将标准化考试作为其招生过程的一部分——这一比例约为20%。2011年，德保罗成为其中最大的私人非营利组织。
在这一点上，标准化测试的缺陷已经被很好地记录下来了。它们惩罚弱势学生和少数族裔，巩固阶级界限，而且它们的预测能力只能预测一个学生在大一第一学期的进步。加州大学伯克利分校1经济学家Jesse M. Rothstein说发现将学生的高中成绩和人口统计信息结合起来，就能预测出她在大学第一年的成绩，与她的高中成绩和SAT成绩的预测结果差不多。基于他评估大学生表现的经验，伯肯施泰特同意这一观点。“这是重复计算，”他说。
随着大学不再强调申请者的考试成绩，他们开始转向研究，这些研究表明，学生的潜力不仅仅取决于认知能力。乐观、好奇、适应力和“勇气”等特质实际上可能在决定一个学生的长期成功方面发挥更大的作用。
尽管人们越来越认同这些所谓的“软技能”很重要，但仍有一个问题始终没有得到解答:如何才能始终如一地、公平地衡量这些技能?伯肯施泰特经常听到招生官员说:“你的心是无法衡量的。”这个表达式听起来是真的。但真的是这样吗?
为什么虚拟课堂比真实课堂更好
我和索尔克生物研究所弗朗西斯·克里克教授、神经学家特伦斯·j·塞诺维斯基一起教授世界上最受欢迎的mooc(大规模在线开放课程)“学习如何学习”。这门课程利用了神经科学、认知心理学……阅读更多
我至少从理论上讲，标准化考试被认为是一种对学生先天能力的中性评估。大学可以利用它们作为一种“一对一”的择校援助，将纽约曼哈顿一所小型私立学校的学生与堪萨斯州曼哈顿一所大型公立学校的学生放在同一场地上。第一届SAT考试于1926年开始实施，大学迅速采用了它和其他标准化考试，作为一种有效评估大量申请者的方法。
但现在很清楚，目前使用的大多数标准化考试远不是阶级中立的。尽管美国大学理事会(College Board)在2014年3月宣布，将对SAT进行改革，将作文列为可选项，减少晦涩的词汇，并加强对数学部分的关注，但怀疑论依然存在。SAT以前经历过很多变化(饱受诟病的类比部分在2005年被取消)，但SAT分数仍然反映了社会经济差距。
经济学家安东尼·p·卡尼维尔(Anthony P. Carnevale)和杰夫·斯特罗(Jeff Strohl)已经找到了弱势学生(主要是黑人和低收入学生，他们的父母在高中就辍学了)在SAT的数学和语言部分的总分往往比富裕学生低784分。他们写道，如果SAT考试是100码的冲刺，那么弱势学生的起点是“落后65码”。此外，大学开始质疑他们是否只需要纯智力。早在20世纪20年代，常青藤联盟学校就开始通过面对面面试的方式来摆脱纯粹的应试录取模式(尽管这可能也是出于同样的动机种族偏见别的)。
招生办公室对这些申请的评估方式就像论文和申请信一样与众不同。“可以说，它们是罗夏墨迹测试(Rorschach tests)。”
如今，招生官员可以利用大量描述软技能的研究。宾夕法尼亚大学(University of Pennsylvania)心理学家、麦克阿瑟“天才”奖得主安吉拉·达克沃斯(Angela Duckworth)的研究就是一个显著的例子。她通过纵向研究芝加哥公立学校的毕业率、美国西点军校(U.S. Military Academy at West Point)的表现以及斯克里普斯全国拼字比赛(Scripps National Spelling Bee)的获胜者来研究成功。她的结论是，“毅力”——她将其定义为对长期目标保持兴趣和努力的能力——预示着人们的成功，超越了衡量人才的传统标准，比如标准化考试分数。
然而，尽管有这样的研究成果，大学招生官员并没有一个可以可靠评估非认知技能的标准化测试。在它们被开发出来之前，许多招生办公室使用个人论文、面试、课外活动清单和推荐信来全面了解申请人。
但是，招生办公室对每一篇论文的评估方式就像论文和入学信本身一样与众不同。“可以说，它们是罗夏测验，”美国教育考试服务中心(Educational Testing Service)的高级研究主任帕特里克·基洛宁(Patrick Kyllonen)说，该中心负责管理sat考试。“很难把它们变成数字。”
2010年，拥有SAT考试的美国大学理事会(College Board)尝试将软技能转化为数字。密歇根州立大学(Michigan State University)名誉教授、组织心理学家尼尔·施密特(Neal Schmitt)和他的同事们一起，确定了100所大学认为重要的成功的12个维度，它们可以分为三类:认知/智力(知识和对一般原则的掌握)、人际关系(如好奇心和对多样性的欣赏)和内在(包括适应性和毅力)。
施密特和他的团队要求学生完成关于他们的背景和经历的评估，并假设他们在给定的情况下会如何行动。例如，一个场景是这样的:“您被分配到一个小组去处理一个特定的项目。当你们一群人坐在一起时，谁也不会说什么。”结果表明，好奇、欣赏多样性、适应能力和毅力等非认知特质随着时间的推移与学习成绩相关。他们还发现，在两项非认知测试中，不同种族之间的表现只有很小的差异，而在认知测试中，差异则大得多。研究人员得出结论，使用这些评估方法可以帮助大学招收更多元化的课程，而学生的成绩几乎或没有下降。
提交标准化考试成绩的学生(85%)和没有提交标准化考试成绩的学生(84%)，大一到大二学生的留校率几乎相同。
受这些发现的激励，美国教育培训服务中心开发了一种名为“个人潜力指数”的在线评估工具。它旨在量化推荐信中传达的信息，要求以往的老师对学生进行打分，分为六类，满分为5分:沟通技能、道德和诚信、知识和创造力、计划和组织、韧性和团队合作。例如，为了衡量适应力，受访者被问及学生在多大程度上“接受反馈而不产生抵触情绪;在压力下工作良好;能够战胜挑战和挫折;工作非常努力。”如果推荐者愿意，他们可以在评论中详细说明自己的评级。
圣母大学商学院和美国牙科协会是首批在招生过程中使用个人潜力指数的学校。Kyllonen预计，一项正在进行的大规模研究的结果将验证新工具作为学生成功的预测器。
德保罗正在实施他们自己的非认知技能测试，包括一系列论述题。对于2012年的新生，大约10%的申请者(或大约5%的新生)选择不发送ACT或SAT成绩。相反，他们完成了四个简答题，旨在衡量他们的领导技能和实现长期目标的能力。德保罗系统地对这些问题的回答打分，报告称，提交标准化考试分数的学生(85%)和没有提交标准化考试分数的学生(84%)，大一到大二学生的留级率几乎相同。伯肯施泰特受到这些初步结果的鼓舞。
然而，尽管学校在量化非认知技能方面取得了进展，但人们对它们建立的评估也感到担忧。非认知技能通常通过自我评分来衡量，这意味着受访者可以伪造他们的答案。这就是布兰迪斯大学(Brandeis University)在最近取消测试要求时没有增加非认知评估的部分原因。布兰代斯大学负责学生和招生事务的高级副校长安德鲁•弗拉格尔表示:“一旦你将这些测量方法引入你的系统，你就引入了利用这些测量方法的能力，尤其是当学生知道他们正在接受测试是为了获得机会的时候。”“对于大多数这样的问题，很难用一种无法凭直觉找到最佳答案的方式来框定它们。”
相反，从今年秋季开始，不愿提交ACT或SAT成绩的布兰代斯申请人可以选择提交一份评分过的论文和第二封推荐信。弗拉格尔说:“事实是，每次我们谈到整体评估时，我们都在某种程度上触及到了一些非认知因素。”
无论这场辩论如何进行，或许最有趣的是它对许多美国人所认为的教育核心价值的影响:根据学生的内在潜力，独立于他们的生活环境来评估他们。在他的书中,《大考验:美国精英政治秘史》(The Big Test: The Secret History of The American Meritocracy)，尼古拉斯•莱曼(Nicholas Lemann)写道，认知测试被认为是将实权与智力联系在一起:“新精英的基本素质，使他们的权力配得上旧精英仅是继承来的权力的因素，将是智力。”随着标准化测试的改变和被取代，这样的想法将不得不重新设想。至于Boeckenstedt，虽然他为德保罗的非认知测试实验的早期回报感到鼓舞，但他相信，长期寻找难以捉摸的“它”——为申请者未来的成功提供窗口的属性网——可能永远不会结束。
埃里克·胡佛是《纽约时报》的记者高等教育编年史。
