W当彼得·斯托利亚斯基于1944年去世时,他被认为是俄罗斯最伟大的小提琴老师。在他的学生中,他算上了一小群明星,包括大卫·奥斯特拉克和内森·米尔斯坦,1933年,他家乡敖德萨的一所天才音乐家学校以他的名字命名。但是斯托利亚斯基的小提琴拉得远不及他最好的学生。他所能做的就是向他们耳语隐喻。他可以俯身解释他母亲是如何做安息日晚餐的。他的建议没有给出关于弓应该描述什么角度的具体信息,也没有给出如何将手指移动到琴架上以产生颤音的具体信息。相反,它将他的音乐经验提炼成学生可以理解的隐喻。
当弗拉基米尔·瓦普尼克(Vladimir Vapnik)教他的电脑识别笔迹时,他也做了类似的事情。虽然不涉及耳语,但瓦普尼克确实利用了“特权信息”的力量。特权信息从学生传递到老师,从家长传递到孩子,从同事传递到同事,这些特权信息编码了来自经验的知识。这就是瓦普尼克要求俄罗斯诗歌教授娜塔莉亚·帕夫洛维奇(Natalia Pavlovich)写诗描述数字5和8的原因,供他的学习算法使用。结果听起来像是任何程序员都不会写的。她在5号桌上的一首诗是,
他正在运行。他是飞。他在向前看。他迅速。他把长矛扔在前面。他是很危险的。它是向右倾斜的。好snaked-ness。蛇在攻击。它会跳起来咬人。 It is free and absolutely open to anything. It shows itself, no kidding.
总的来说,巴甫洛维奇写了100首这样的诗,每首都是手写的5或8首,如右图所示。有的笔法很好,有的笔迹潦草。其中一个5分是“一个普通的好生物,强壮、乐观、善良”,而另一个5分则似乎“准备冲出去攻击某人”。巴甫洛维奇然后根据她的诗中的21个不同属性对每个5分和8分进行评分。例如,一个手写示例的“攻击性”评级为2分之2,而另一个示例的“稳定性”评级为3分之2。
在这样的指导下,瓦普尼克的计算机能够识别手写数字,所需的训练远远少于常规要求。一个可能需要100000个样本的学习过程现在可能只需要300个样本。加速也与所用诗歌的风格无关。当巴甫洛维奇写了第二套以阴阳对立为基础的诗时,它同样奏效。瓦普尼克甚至不确定老师是否正确,尽管一致性似乎很重要。
为什么虚拟类比真实类更好
我与索尔克生物研究所的弗朗西斯·克里克教授、神经科学家特伦斯·塞诺夫斯基(Terrence J.Sejnowski)一起教授世界上最受欢迎的MOOC(大规模在线开放课程)“学习如何学习”。这门课程借鉴了神经科学、认知心理学,。。。阅读更多
Vapnik是越来越多的人工智能(AI)研究人员中的一员,他们发现了教师们早就知道——或者至少被认为是真的——的东西:教师和学生之间存在一种特殊的、有价值的交流,这是任何教科书或原始数据流都无法找到的。通过使用计算工具和机器直觉,人工智能研究人员让我们对我们如何学习有了更全面的了解。他们还拓宽了教育的研究范围,将学习过程本身的量化、数值模型包括在内。密歇根大学(University of Michigan)计算机科学家约翰•莱尔德(John Laird)表示:“人工智能带来的是,它迫使我们深入了解一切事物如何工作的细节。”如果有人怀疑优秀教师的重要性,那么机器学习正在帮助消除这种疑虑。
教师和学生之间有一种特殊的、有价值的交流,这种交流超出了任何教科书或原始数据流中所能找到的范围。
师生代码源于真实世界的绝对复杂性,这种复杂性长期困扰着人工智能研究。那平面是桌子吗?椅子?地板?如果它部分在阴影中,或者部分被遮住了怎么办?在多年来寻找简单的方法来回答这些问题后,人工智能社区发现现实世界的复杂性在某些方面是不可还原的。
例如,仅使用地图数据(如海拔、坡度、阳光和阴影)预测森林中树木分布的问题。乔克·布莱克德(Jock Blackard)和丹尼斯·迪恩(Denis Dean)在1999年进行了最初的计算,并留下了一个庞大的公共数据库供其他数学家使用。根据瓦普尼克的说法,当计算机使用15000个例子进行训练时,他们的预测准确率为85%到87%。不错。但当他们被喂食超过500000个样本时,他们开发了更复杂的树木分布规则,并将他们的预测准确率提高到98%以上。
“这意味着一个好的决策规则不是一个简单的规则,它不能用很少的参数来描述,”Vapnik说。事实上,他认为使用许多弱预测器总是比使用几个强预测器更准确。1.获取复杂性的一种方法是向计算机提供数十万甚至数百万个点,这称为蛮力学习。它工作得很好,是大多数大数据商业企业背后的驱动引擎,在这些企业中,机器被释放在TB的数据上,以了解从科学问题到消费者行为的一切。事实上,Vapnik开发了大数据使用的关键技术之一,称为支持向量机。但是,在数据不充足的情况下,例如在研究癌症活检图像时,蛮力方法也是缓慢、低效和无用的。
Vapnik将特权信息描述为第二种用于指导计算机的语言。暴力学习的语言包括技术测量,如形状、颜色、力量和你在食品上的花费,特权信息依赖于隐喻。隐喻可以区分聪明科学和暴力科学。
要想看到工作中的特权信息,我们只需要看看人类(或机器人)的身体。身体是特殊的,因为它有与环境互动的特殊方式。有腿的人和没有腿的机器人对有椅子的房间的理解是不同的。当受到物理实体的约束和要求时,描述房间的数千点原始数据会崩溃成几个简单的想法。如果老师知道拥有一个身体是什么感觉,他、她或它可以将这些简单的想法作为特权信息传递给学生,从而创建一个复杂环境的有效描述。
人工智能研究人员正在迅速了解身体的重要性,以及身体在构建和解释特权信息中的关键作用。在他的实验室里,莱尔德正在教机器人使用语言命令操纵泡沫块。当机器人第一次试图抓起一个物体时,它自己的手臂挡住了它的摄像机,它的视觉系统失去了它试图抓起的物体的轨迹。需要教会它身体是什么,以及它是如何工作的。
一个好的决策规则不是一个简单的规则,它不能用几个参数来描述。
这听起来可能像是发育机器人的成长之痛,但事实上,人类也需要学习他们的身体如何与环境相互作用,并最终开始依赖这些信息。布卢明顿印第安纳大学的心理学家和脑科学家琳达·史密斯告诉我,人们的注意力就像太空中的聚光灯一样集中。在工作(或短期)记忆中,同一聚光灯中的对象链接在一起或绑定在一起。史密斯发现,16到24个月大的孩子可以在他们的工作记忆中将物体和名字绑定在一起,但前提是这些物体不被移动。否则,视觉“噪音”会阻止记忆的形成。
但是,如果孩子移动,而不是物体移动,会发生什么?英国普利茅斯大学的研究人员托尼·莫尔斯(Tony Morse)使用了一种名为iCub的53马达机器人,这种机器人能够爬行和行走,学习能力很像史密斯的孩子。出乎意料的是,当它改变姿势并再次回头看一个对象时,它无法保持对象与其名称之间的关联。该机器人利用自身的身体姿势在太空中定位,通过物理路标降低环境的复杂性。
受到机器人研究结果的激励,史密斯在儿童身上寻找同样的行为,并发现了它。“这是一个新颖的预测,绝对正确,”她说。“这让我开始了一系列关于身体运动在扰乱儿童记忆中的作用的研究。”事实证明,当你一年级的老师让你坐下来集中注意力时,她对记忆是如何形成的有着深刻的理解。它不是显而易见的东西,也不是孩子会猜对的东西,也不是人工智能研究人员会编程到机器里的东西。这是保密信息。
一年级教师指导的有效性被以下事实所掩盖:指导的对象(学习)与指导的内容(坐)几乎没有关系。但事实往往如此。里克·曼茨现在是新泽西州南布伦瑞克的南布伦瑞克高中詹姆斯·金普尔另类教育中心的主席,但他最初来到该镇是为了指导足球队。在多年来几乎丢失记录后,他立即改变了计划。怎样“这是一个性格问题,”曼茨告诉我。曼茨发现了一些类似于巴甫洛维奇的诗和一年级老师的禁令的东西。在这种情况下,这是足球场上的表现和课堂态度之间的联系。曼茨向我解释说:“那些在教室或自助餐厅搞砸的孩子,就是那些在一场比赛中在倒数第四名时越位的孩子。”。
如果老师知道拥有一个身体是什么感觉,他、她或它可以把这些简单的想法作为特权信息传递给学生。
曼茨可以为我清楚地解释他所教授的特殊信息。但这并不总是可能的。芝加哥大学(University of Chicago)声乐研究主任帕特里斯·迈克尔斯(Patrice Michaels)向我讲述了歌唱中一个微妙的方面,许多临床医学大师曾认为这是不可传授的,但现在却是歌唱教学的常规部分。这被称为“垂直进入和声”,这与歌手与作曲家的和声意图相协调有关。她说:“G#音是a音,G#音是f音,两者是不同的。音高是一样的,但取决于你唱的方向——你如何瞄准它。”Michaels很难解释其中的区别。
对人工智能研究人员来说,利用特权信息的潜在回报是一个有吸引力的目标。大约30年前,乔治·瑞克(George Reeke)和诺贝尔奖得主杰拉尔德·埃德尔曼(Gerald Edelman)展示了用机械臂追踪字母的人工智能系统比仅用视觉系统更容易识别不同风格的手写和字母。如今,在意大利理工学院(Italian Institute of Technology)制造了iCub机器人的乔治·梅塔(Giorgio Metta)正指望iCub的体型来帮助它学习。“在很多情况下,人类利用自己对行为的认识来识别他人的行为,”他告诉我。“如果机器人知道如何抓取,它就有更好的机会识别人类的抓取动作,”他说。Metta更进一步,教iCub跟随社交线索,比如当有人看着某个物体时,将注意力转移到它身上。这些线索成为收集复杂世界特殊信息的另一个渠道。
2012年,瓦普尼克在卡内基梅隆大学的一组哲学家面前发表演讲,他问我们是否能够仅仅使用现在机器学习中使用的技术模型来理解一个复杂的世界。“机器学习科学不仅仅是关于计算机,”他说,“而是关于人类,以及逻辑、情感和文化的统一。”瓦普尼克自己的老师呢?他转述了另一个轶事,这是关于他的音乐老师的。“大多数时候,我认为老师在胡说八道,”他说,用他最喜欢的一个同义词来表示特权信息。“但我总是明白他想要什么。”
艾伦·布朗是一名自由撰稿人,专注于科学和工程的交叉。








