人工智能永远不可思议吗?

Dmitry Malioutov不能说太多关于他建造的东西。

作为IBM的一名研究科学家，Malioutov花了部分时间构建机器学习系统，以解决IBM公司客户面临的难题。其中一项计划是针对一家大型保险公司的。这是一项具有挑战性的任务，需要复杂的算法。然而，当向他的客户描述结果时，出现了一个问题。“我们无法向他们解释这个模型，因为他们没有接受过机器学习方面的培训。”

事实上，即使他们是机器学习专家，也可能没有帮助。这是因为该模型是一个人工神经网络，一个程序，它接收给定类型的数据——在本例中是保险公司的客户记录——并在其中找到模式。这些网络已经在实际应用中使用了半个多世纪，但最近它们又复苏了，推动了从语音识别、语言翻译到围棋机器人和自动驾驶汽车等方方面面的突破。

尽管它们的性能提升令人兴奋，但现代神经网络有一个令人不安的事实：没有人知道它们是如何工作的。这意味着没有人能够预测他们什么时候会失败。

以机器学习研究人员里奇·卡鲁阿纳(Rich Caruana)及其同事最近报道的一段插曲为例。他们描述了匹兹堡大学医学中心的一个团队的经历，该团队使用机器学习来预测肺炎患者是否会出现严重的并发症。其目标是将并发症风险低的病人送往门诊治疗，保留医院床位和医务人员的注意。该团队尝试了几种不同的方法，包括各种各样的神经网络，以及软件生成的决策树，生成清晰的、人类可读的规则。

神经网络比其他任何一种方法都更正确。但当研究人员和医生查看这些人类可读的规则时，他们注意到一些令人不安的事情:其中一条规则要求医生把已经患有哮喘的肺炎患者送回家，尽管众所周知，哮喘患者非常容易出现并发症。

模型完成了它被告知的任务:在数据中发现一个真正的模式。它给出的糟糕建议是数据中一个怪癖的结果。把患有肺炎的哮喘患者送到重症监护室是医院的政策，这一政策非常有效，哮喘患者几乎从未出现严重的并发症。如果没有医院病人记录的额外护理，结果可能会截然不同。

这个医院轶事清楚地表明了可解释性的实用价值。“如果基于规则的系统知道哮喘降低了风险，那么神经网络当然也知道了，”卡鲁阿纳和他的同事写道——但是神经网络不是人类可以理解的，它关于哮喘患者的奇异结论可能很难诊断。^1.Malioutov警告说，如果没有可解释的模型，“你可能会意外杀人。”

这就是为什么如此多的人不愿在神经网络的奥秘上赌一把。当Malioutov向他的公司客户展示他精确但难以理解的神经网络模型时，他也向他们提供了另一种基于规则的模型，他可以用简单的语言来表达其工作原理。第二个可解释的模型不如第一个模型准确，但客户还是决定使用它——尽管这是一家数学上复杂的保险公司，每一个百分点的准确性都很重要。“他们可以有更多的共鸣，”Malioutov说。“他们非常重视直觉。”

甚至连政府也开始对神秘的神经网络预言者日益增长的影响力表示担忧。欧盟最近提议建立“解释权”，允许公民要求算法决策的透明度。^2.然而，这项立法可能难以实施，因为立法者并没有具体说明“透明度”的含义。目前还不清楚这一遗漏是源于对问题的无知，还是对其复杂性的认识。

一些研究人员希望消除选择让我们拥有多层蛋糕的必要性，并理解它。

事实上，有些人认为这样的定义可能是不可能的。目前，尽管我们可以知道关于神经网络在做什么的一切信息——毕竟，它们只是计算机程序——但我们对它们是如何或为什么在做这些知之甚少。神经网络是由许多，有时是数百万个被称为神经元的个体单元组成的。每个神经元将许多数字输入转换为单个数字输出，然后再传递给一个或多个其他神经元。就像在大脑中一样，这些神经元被分成“层”，一组细胞从下一层接收输入，然后将输出发送到上一层。

神经网络的训练方法是输入数据，然后调整层与层之间的连接，直到网络的计算输出与已知输出(通常由类别组成)尽可能接近。过去几年取得的令人难以置信的成果要归功于一系列新技术，这些技术使快速训练深度网络成为可能，在第一次输入和最终输出之间有许多层。一个被称为AlexNet的流行深度网络被用来对照片进行分类，根据照片上是西施犬还是博美犬等细微的区别给照片贴上标签。它由超过6000万个“重量”组成，每一个“重量”告诉每一个神经元对每一个输入需要注意多少。康奈尔大学(Cornell University)和几何智能学院(Geometric Intelligence)的计算机科学家杰森•约辛斯基(Jason Yosinski)表示:“为了让你对这个网络有一些了解，你必须对这6000万个数字有一些了解。”

即使有可能强加这种可解释性，也不一定总是可取的。对可解释性的需求可以被视为另一组约束，防止模型成为只关注输入和输出数据的“纯”解决方案，并可能降低准确性。在美国国防部高级研究计划局(DARPA)今年早些时候的一次会议上，项目经理大卫·冈宁(David Gunning)用一张图表总结了这种权衡。图表显示，深层网络是现代方法中最难理解的。在光谱的另一端是决策树，基于规则的系统倾向于重视解释而不是效力。

结果是，现代机器学习提供了一种选择:我们想知道吗什么会有很高的准确性，还是为什么什么事会发生，以牺牲准确性为代价?“为什么”帮助我们制定策略、调整，并知道我们的模式何时会崩溃。“什么”帮助我们在不久的将来适当地行动。

这可能是一个艰难的选择。但一些研究人员希望消除选择的必要性，让我们拥有我们的多层蛋糕，并了解它。令人惊讶的是，一些最有前途的研究方法将神经网络视为实验对象，而不是分析的、纯粹的数学对象。例如，约辛斯基说，他正试图“以我们理解动物甚至人类的方式”来理解深层网络。他和其他计算机科学家正在从生物学研究中引进技术，这种技术可以像神经科学家研究大脑一样，窥探网络内部:探测单个组件，分类它们的内部如何对输入的微小变化做出反应，甚至去除一些部件，看看其他人如何进行补偿。

在从零开始构建了一种新的智能系统后，科学家们现在正将其拆开，将相当于显微镜和手术刀的数字技术应用于这些虚拟生物。

Y奥辛斯基坐在电脑终端前，对着网络摄像头讲话。来自网络摄像头的数据被输入到一个深层神经网络中，而网络本身正在使用Yosinski和他的同事开发的称为深层可视化工具包的软件工具包进行实时分析。点击几个屏幕，Yosinski放大了网络中的一个神经元。“这个神经元似乎对面孔有反应，”他在互动视频记录中说。^3.人类大脑也有这样的神经元，其中许多聚集在大脑的梭状面区。从1992年开始的多次研究发现了这一区域，^{4, 5}已经成为人类神经科学中最可靠的观察结果之一。但这些研究需要像正电子发射断层扫描这样的先进技术，约辛斯基可以仅通过代码来观察他的人工神经元。

这种方法可以让他将某些人造神经元映射到人类可以理解的想法或物体上，比如人脸，这可能有助于将神经网络变成直观的工具。他的程序还可以突出图片的哪些方面对刺激面部神经元最重要。“我们可以看到，如果我们的眼睛颜色更深，嘴唇颜色更红，它的反应会更强烈，”他说。

杜克大学(Duke University)计算机科学、电子与计算机工程教授辛西娅•鲁丁(Cynthia Rudin)认为，这些“事后”的解释本质上是有问题的。她的研究重点是建立基于规则的机器学习系统，应用于监狱判决和医疗诊断等领域，在这些领域，人类可读的解释是可能的，而且非常重要。但对于视力等领域的问题，她说，“解读完全在观察者的眼里。”我们可以通过识别面部神经元来简化网络反应，但我们如何确定它真的在寻找什么呢?Rudin的担忧呼应了一个著名的论断，即视觉系统的模型可能没有比视觉系统本身更简单的了。她说:“对于一个复杂的模型，你可以有很多解释。”“你会选择你‘希望’正确的那一个吗?”

Yosinski的工具包可以部分地通过逆向工作来消除这些担忧，发现网络本身“希望”什么是正确的——一种人为的理想。程序从原始的静态图像开始，然后逐像素地调整静态图像，并使用训练网络的相反过程对图像进行修补。最终，它会找到一张能引起给定神经元最大可能反应的图片。当这种方法被应用到AlexNet的神经元上时，它产生了漫画，虽然幽灵般的，但毫无疑问唤起了被标记的类别。

这似乎支持了他的说法，面部神经元确实在寻找面孔，在某种非常普遍的意义上。但这里有个陷阱。为了生成这些图像，约辛斯基的程序依赖于一个统计约束(称为自然图像先验)，该约束将生成的图像限制在与人们在真实世界物体的图像中发现的结构类型相匹配的类型。当他删除这些规则时，工具箱仍然会选择一个最可靠的图像，但该图像是纯静态的。事实上，约辛斯基已经证明，在很多情况下，AlexNet神经元喜欢的大多数图像在人类看来都是静态的。他欣然承认，“要想让网络说出一些极端的话，很容易。”

为了避免这些缺陷，弗吉尼亚理工大学电子与计算机工程助理教授Dhruv Batra采用了一种更高水平的实验方法来解释深层网络。他并没有试图在它们的内部结构中寻找模式——“比我聪明的人已经研究过了，”他反驳道——他主要是利用机器人版本的眼球追踪来探究网络的行为。他的团队在一个由研究生Abhishek Das和Harsh Agrawal领导的项目中，对图像进行了深网研究，比如给定的房间图片的窗户上是否有窗帘。^6.与AlexNet或类似的系统不同，Das的网络被设计成每次只关注图像的一小块。它在图片周围移动它的虚拟眼睛，直到它认为它有足够的信息来回答问题。在经过充分的训练后，深度网络表现得非常好，回答问题的准确性与最优秀的人不相上下。

训练有素的机器非常适合它们的环境，而不适合于任何其他环境。

然后，Das, Batra和他们的同事们试图通过调查它在图片中选择的位置来了解网络是如何做出决定的。他们的发现让他们感到惊讶:当回答有关窗帘的问题时，网络甚至懒得找窗户。相反，它首先会查看图像的底部，如果找到一张床，它就会停止查看。似乎，在用于训练神经网络的数据集中，带窗帘的窗户可能出现在卧室里。

虽然这种方法确实揭示了深网的一些内部运作，但它也强化了可解释性带来的挑战。巴特拉说：“机器所利用的并不是关于世界的事实。”。“它们是关于数据集的事实。”由于机器与输入的数据紧密相关，因此很难提取关于它们如何工作的一般规则。他警告说，更重要的是，如果你不知道它是如何工作的，你就不知道它将如何失败。在巴特拉的经历中，当他们失败的时候，“他们的失败是非常可耻的。”

像Yosinski和Batra这样的研究人员所面临的一些障碍对于研究人脑的科学家来说是熟悉的。例如，关于神经影像学解释的问题，即使没有得到普遍关注，今天也很常见。认知神经科学家玛莎·法拉（Martha Farah）在2014年对该领域的一份评论中写道，“令人担忧的是，[功能性大脑]图像更多的是研究者的发明，而不是研究者的观察。”^7.在智能系统的不同实现中出现的这些问题表明，它们可能是障碍，不是对这种或那种大脑的研究，而是对智能本身的研究。

我it’追逐解释性是徒劳的事吗?加州大学圣地亚哥分校(University of California, San Diego)的扎卡里·利普顿(Zachary Lipton)在2015年发表了一篇题为《模型可解释性的神话》(The Myth of Model Interpretability)的博客文章，对解释神经网络背后的动机以及首先为巨大数据集构建可解释性机器学习模型的价值提出了关键的观点。在今年的国际机器学习会议(ICML)上，他向一个关于人类可解释性的研讨会(由Malioutov和他的两位同事组织)提交了一篇颇具争议的论文。^8.

利普顿指出，许多学者对可解释性这一概念本身存在分歧，这对他来说要么是可解释性理解不足，要么是有许多同样有效的含义。在这两种情况下，追求可解释性可能无法满足我们对神经网络输出的直接、简明描述的渴望。在他的博客文章中，Lipton认为，当涉及到庞大的数据集时，研究人员可以选择抵制解释的冲动，相反，他们可以“相信经验的成功”。他认为，该领域的一个目的是“建立模型，使其能够从人类无法有意识解释的大量特征中学习”，而可解释性可能会阻止这些模型充分发挥其潜力。

但这种能力既是特性又是失败的：如果我们不了解网络输出是如何生成的，那么我们就不知道输入的哪些方面是必要的，甚至不知道什么可能被认为是输入。举个例子：1996年，萨塞克斯大学的阿德里安·汤普森（Adrian Thompson）使用软件设计了一个电路，采用了类似于今天训练深层网络的技术。电路将执行一项简单的任务：区分两种音频音调。经过数千次迭代、洗牌和重新排列电路组件后，软件找到了一种几乎完美执行任务的配置。

然而，汤普森惊讶地发现，电路使用的元件比任何人类工程师使用的元件都要少——包括一些没有物理连接的元件，但这些元件对电路正常工作仍然是必要的。

他开始解剖电路。经过几次实验，他了解到它的成功利用了相邻部件之间微妙的电磁干扰。断开的元件会引起局部电场的微小波动，从而影响电路。人类工程师通常会防范这些互动，因为它们是不可预测的。果然，当汤普森将相同的电路布局复制到另一批元件上，甚至改变环境温度时，它完全失败了。

这条线路展示了经过训练的机器的一个特点:它们尽可能地紧凑和简化，非常适合自己的环境，而不适合于任何其他环境。他们发现了工程师看不到的模式;但不知道哪些模式在其他地方不存在。机器学习研究人员竭尽全力避免这种被称为“过拟合”的现象，但随着这些算法在越来越多的动态情况下使用，它们的脆弱性将不可避免地暴露出来。

对于普林斯顿大学计算机科学教授Sanjeev Arora来说，这一事实是寻求可解释模型的主要动机，这些模型允许人类干预和调整网络。阿罗拉指出，在缺乏可解释性的情况下，机器的能力可能会受到两个问题的限制。一个是“可组合性”——当手头的任务涉及许多不同的决策时(比如围棋，或自动驾驶汽车)，网络无法有效地了解是谁导致了失败。他说:“通常当我们设计东西时，我们了解不同的组件，然后把它们放在一起。”这允许人们调整不适合给定环境的组件。

未解决的可解释性的另一个问题是Arora所说的“领域适应性”——灵活地将在一个环境中学习到的知识应用到另一个环境中的能力。这是一项人类学习者做得很好的任务，但机器可能会以令人惊讶的方式失败。Arora描述了程序如何灾难性地无法适应人类可以轻松处理的那种微妙的上下文变化。例如，一个通过阅读正式文档(如维基百科)来解析人类语言的网络，在更本土化的设置(如Twitter)中可能完全失败。

根据这种观点，可解释性似乎至关重要。但是我们明白这个词的意思了吗?计算机科学家先驱马文·明斯基创造了“手提箱词”来描述许多术语，比如“意识”或“情感”——我们在谈论自己的智力时使用的术语。⁹他提出，这些词反映了许多不同的底层过程的工作，这些过程被锁在“手提箱”中。这种观点认为，只要我们继续研究这些词作为更基本概念的替代品，我们的洞察力就会受到语言的限制。在智力的研究中，可解释性本身会是这样一个微不足道的词吗?

与我交谈过的许多研究人员都乐观地认为，理论家有一天会解开这个箱子，发现一套单一的、统一的、指导机器(也许还有人类)学习的原则或定律，类似于牛顿的理论原理另一些人则警告说，几乎没有理由期待这种情况发生。纽约城市大学的哲学教授Massimo Pigliucci警告说，自然科学的“理解”——引申到人工智能——可能是路德维希·维特根斯坦(Ludwig Wittgenstein)所称的“集群概念”，这是明斯基预料到的，它可以承认许多不同的定义。他说，如果这个领域的“理解”真的来了，它可能不是在物理学中发现的那种，而是在进化生物学中发现的那种。而不是原理他说，我们可能会这样认为物种起源.

当然，这并不意味着深层网络是某种新型自主生活的先兆。但它们可能会像生命一样难以理解。这个领域的渐进式、实验性的方法和事后的解释可能不是某种在黑暗中绝望的感觉，希望理论能发光。相反，它们可能是我们所能期待的唯一一种光。可解释性可能是零碎的，作为一组“物种”的原型例子，被安排在一个由推理和偶然的、上下文特定的解释定义的分类学中。

在ICML研讨会结束时，一些演讲者出现在一个小组中，试图定义“可解释性”。有多少人回答，就有多少人回答。经过一些讨论，小组似乎达成了共识，即“简单性”是模型可解释的必要条件。但是，当被要求定义“简单”时，这群人又产生了分歧。“最简单”的模型是依赖最少数量特征的模型吗?区别最明显的那个?它是最小的程序吗?研讨会在没有达成一致答案的情况下结束了，留下一个早期概念的定义被另一个概念所取代。

正如Malioutov所说，“简单并不是那么简单。”

Aaron M. Bornstein是普林斯顿神经科学研究所的研究员。他的研究调查了我们如何利用记忆理解现在，规划未来。

参考文献

1.Caruana, R。等医疗保健的可理解模型:预测肺炎风险和住院30天再入院。第21届ACM SIGKDD知识发现与数据挖掘国际会议论文集1721-1730 (2015).

2.人工智能正在为与欧洲的巨大冲突建立互联网。Wired.com(2016)。

3.yoinski, J.， Clune, J.， Nguyen, A。arXiv: 1506.06579(2015)。

4.张志强，王志强，王志强，等。人脸与物体处理的功能神经解剖学研究进展。正电子发射层析成像研究。大脑11515-36(1992)。

5.坎维舍。梭状面区:人类外皮层专门用于面孔知觉的一个模块。神经科学杂志17, 4302–4311 (1997).

6.Das, A.， Agrawal, H.， Zitnick, C.L.， Parikh, D.， & Batra, D.视觉问题回答中的人类注意力:人类和深层网络关注同一区域吗?自然语言处理经验方法学术会议(2016)。

7.脑影像、婴儿和洗澡水:功能性神经影像批评。解读神经图像:技术介绍及其局限性45，S19-S30（2014）。

8.模型可解释性的神话。arXiv: 1606.03490(2016)。

9《意识是一个大箱子：与马文·明斯基的谈话》。Edge.org（1998年）。