我在…的序言中圣女贞德在他的戏剧《圣女贞德》中，15世纪初，这位少女看到了圣人和大天使的幻象，于是士兵们上了战场。萧伯纳(George Bernard Shaw)提出了一个惊人的令人信服的论点:追随圣女贞德的神秘愿景，至少和追随一位现代将军进入充斥着高科技和不可理解的战争武器的战场一样理性。他的论点是，20世纪的战士和15世纪的战士一样受到信仰的驱使:
在中世纪，人们相信地球是平的，对此他们至少有感官上的证据:我们相信它是圆的,而不是因为多达百分之一的我们可以给身体原因所以古雅的信仰,而是因为现代科学让我们相信,什么是显而易见的是真实的,这一切都很神奇,不可思议,非凡的、巨大的、微观的,无情的,或令人发指的是科学。
当然，这有点夸张，但值得注意的是，在现代世界，我们在多大程度上依赖于别人告诉我们的生活方式。我们身上发生的事情很少能通过直接的感官体验来理解。从叫醒我们的闹钟，到我们闲逛的厕所，到我们打开的智能手机（在我们去卫生间之前或之后），到欢迎我们进入厨房的咖啡机，到我们用来装满咖啡机的水龙头，没有什么是完全在我们的概念范围内的。但是我们使用这些工具；我们甚至依赖它们，因为它们起作用（除非它们不起作用，我们的生活有点失衡）。我们可以感谢创造它们的专家，因为我们依赖于他们的技术。经过多年的成功使用，我们相信现代技术的大师们。但当这些设备出现故障时，当有线电视服务中断或下水道排放棕色污泥时，我们会被粗鲁地提醒，我们对现代生活的便利性知之甚少。
“知识错觉”的发生，是因为我们生活在一个知识的社区，我们无法区分我们头脑中的知识和它之外的知识。我们认为我们对事物如何运作的知识只存在于我们的脑壳里，而事实上，我们从环境和其他人那里获取了很多知识。这既是认知的一种特征，也是一种缺陷。世界和我们的社区拥有我们大部分的知识基础。许多人类的理解仅仅是意识到知识就在那里。复杂的理解通常包括知道在哪里找到它。只有真正博学的人才有自己记忆中的知识。
知识错觉是经济学家所说的知识诅咒的反面。当我们知道某件事时，我们很难想象别人不知道它。如果我们敲出一首曲子，我们有时会惊讶于别人不认识它。这似乎是显而易见的;毕竟，我们可以在脑海中听到它。如果我们知道一个常识问题的答案(谁主演的)音乐之声?)，我们也倾向于期望别人知道答案。知识的诅咒有时会以后见之明的形式出现。如果我们的团队刚刚赢得了一场重要的比赛，或者我们的候选人刚刚赢得了一场选举，那么我们会觉得我们一直都知道，其他人也应该预料到这个结果。知识的诅咒在于，我们倾向于认为我们头脑中的东西也存在于别人的头脑中。在知识错觉中，我们倾向于认为别人脑子里的东西也在我们脑子里。在这两种情况下，我们都无法辨别谁知道什么。
值得注意的是，在现代世界，我们在多大程度上依赖别人告诉我们的生活方式。
因为我们生活在蜂群思维中，严重依赖他人和环境来存储我们的知识，所以我们头脑中的大部分内容都是相当肤浅的。大多数时候，我们可以摆脱这种肤浅，因为其他人并不指望我们知道得更多;毕竟，他们的知识也是肤浅的。我们之所以能过得去，是因为认知劳动的分工存在，它将社区中不同方面的知识责任划分开来。
认知劳动的分工是认知发展和今天工作方式的基础。在社区中分享知识的能力使我们得以登上月球，建造汽车和高速公路，制作奶昔和电影，在电视前吃喝玩乐，通过生活在社会中做我们能做的一切。认知劳动的分工决定了生活在社会中的舒适性和安全性，以及独自生活在野外的舒适性和安全性。
但当我们依赖他人为我们保存知识时，也有缺点。你可能对爱丽丝(因梦游仙境而出名)很熟悉，但如今很少有人读过刘易斯·卡罗尔(Lewis Carroll)把她介绍给世界的小说。许多人都是通过电影、卡通和电视节目间接了解爱丽丝的，而不是通过阅读卡罗尔的神奇书籍的独特而令人费解的经历。如果我们不懂微积分，我们就无法理解想象时间消失的美妙之处，即让它缩小成一个瞬间，以及它与曲线切线的关系。我们看不出牛顿看到了什么使他如此重要以至于当局把他埋在了威斯敏斯特教堂。这是生活在知识社区的代价之一:我们会错过那些只有通过他人的知识和经验才能知道的事情。
还有更危险的后果。因为我们混淆了我们头脑中的知识和我们可以接触到的知识，我们很大程度上没有意识到我们所了解的是多么的少。我们生活在这样的信念中:我们懂得的比我们所做的更多。
我如果你最近使用互联网来完成一项任务，你会发现很难评估你作为个人完成这项任务的能力，因为它与互联网的贡献是如此纠缠在一起。所有的证据都与团队有关，你和电脑一起操作。这个团队自然比个人更擅长这项任务，所以有证据表明你比那些没有网络优势的人更擅长这项任务。因为思想超出了大脑的范围，包含了所有可以用来追求目标的工具，所以要精确衡量个人的贡献几乎是不可能的。就像如果我们在一个团队中，团队赢了，那么不管我们的角色是大是小，我们都赢了。
这带来了一些令人担忧的后果。互联网的知识是如此的容易获取，如此的广泛，我们可能正在塑造一个这样的社会:每个拥有智能手机和Wi-Fi连接的人都成为多个领域的自封专家。
当我们触手可及整个世界的知识时，感觉它就在我们的头脑中。
在与Adrian Ward合作的一项研究中，我们在Reddit网站上询问了医生和护士，询问他们在访问他们的办公室之前在WebMD等网站上搜索诊断的患者的经历。医学专家告诉我们，这些患者实际上并不比那些没有上网的患者知道更多。尽管如此，他们往往对自己的医学知识充满信心。这可能导致他们否认专业人士的诊断或寻求替代治疗。在另一项研究中，我们让人们在互联网上搜索有关金融的简单问题的答案，比如“什么是股票？”然后我们让他们玩一个无关的投资游戏（他们查找的信息无助于在游戏中表现得更好）。我们还让他们有机会对自己的表现下注。首先搜索互联网的人比那些没有搜索的人更看重自己的表现。但他们在比赛中没有表现得更好，最终赚的钱更少。
问题是，花几分钟(甚至几个小时)浏览WebMD网站并不能取代多年的学习，这些学习需要足够的专业知识来做出可靠的医疗诊断。花几分钟在金融网站上查找事实不足以理解投资的细微差别。然而，当我们指尖就能掌握整个世界的知识时，感觉很多知识都在我们的头脑中。
GPS(全球定位系统)地图软件是人工智能帮助完成日常任务的最先进形式之一。GPS设备在20世纪90年代和21世纪初变得越来越普遍;自从2007年智能手机内置GPS问世后，手机就无处不在了。当你驾车行驶时，这些强大的小系统会绘制出最佳路线，并以视觉方式显示出来，根据当前的交通状况和你是否错过了你的转弯，更新它们的建议，甚至还会跟你说话。它们的能力和力量是惊人的，以至于它们完全改变了我们大多数人的导航方式。它们甚至改变了很多情侣关系，大部分都是向好的方向发展:情侣们不再为是否停下来问路而争吵。
但请注意这些神奇的机器不会做什么:它们不会因为你在去父母家的路上而决定走很远的路，而你宁愿迟到。他们不走湖边的路线，因为今晚日落特别美丽。他们并没有说今天的交通真的很糟糕，你最好呆在家里。他们可以做这些事情中的任何一件，但这样做必须经过编程。他们不能做的是读懂你的思想，弄清楚你的意图——你的目标和愿望，以及你对如何满足它们的理解——然后把这些意图变成他们自己的意图，从而得出新的建议。他们不能为了追求共同的目标而分享你的意图。
我们正在塑造一个危险的社会，每个拥有智能手机的人都是专家。
我们和我们的技术没有共同点，因为机器和用户之间对于我们知道什么和我们在做什么没有共识，除非在最原始的意义上。机器可以问你的目标是A、B还是C，并对你的答案做出适当的回应。但它不能以某种方式与你分享这个目标，以证明它在最后一秒主动追求一个新的目标是合理的。你和你的机器有一个隐含的契约，它会做它能做的事来帮助你追求你的目标。但你必须确保你已经告诉它你的目标是什么。机器不是合作者;它是一个工具。从这个意义上说，人工智能的工具更像一个微波炉，而不是另一个人。通过提供信息和有用的工具，技术可能是知识社区的一个重要组成部分，但它不像人类那样是社区的成员。我们不与机器合作，就像我们不与羊合作一样; we use them.
分享意图的能力是智能代理的关键部分。语言和概念化等核心人类功能依赖于它，因为它们都是协作活动。我们怀疑，编程让计算机分享你的意图是很困难的，因为这样做需要计算机能够与他人协调——意识到你知道什么，别人知道什么;这需要一种对自己和他人的认知过程进行反思的能力。没有人知道如何让电脑意识到这一点。如果有人能，我们就能理解有意识的含义。但是我们没有。
W我们正处于科技史上一个尴尬的时刻。几乎我们所做的一切都是由智能机器实现的。机器足够智能，我们依赖它们作为我们知识社区的核心部分。然而，没有一台机器拥有对人类活动如此重要的独特能力:没有一台机器可以共享意图。这对人类和机器如何协同工作产生了影响。
没有自动化的帮助，现代飞机根本无法飞行。最先进的军用飞机是线控飞行:它们非常不稳定，因此需要一种自动化系统，这种系统能够以比人类操作员快许多倍的速度感知和行动，以维持控制。我们对智能技术的依赖导致了一个悖论。随着技术的改进，它变得更加可靠和高效。由于它的可靠和高效，操作员开始更加依赖它。最终，他们会失去注意力，变得心烦意乱，然后退出，让系统自行运行。在最极端的情况下，驾驶大型客机可能成为一种被动的职业，就像看电视一样。这很好，直到意外发生。意料之外，彰显人的价值;我们带来的是处理新情况的灵活性。 Machines aren’t collaborating in pursuit of a joint goal; they are merely serving as tools. So when the human operator gives up oversight, the system is more likely to have a serious accident.
技术所不能做的就是读懂你的思想，找出你的意图。
自动化悖论是，自动化安全系统的有效性导致了对它们的依赖，而这种依赖削弱了人类操作员的贡献，导致更大的危险。现代技术极其复杂，而且越来越复杂。自动化安全系统正在改善。当它们变得越来越复杂，并包含额外的铃声和备份系统时，它们就会被利用来做越来越多的事情。当它们失败时，由此产生的灾难要大得多。具有讽刺意味的是，飞机、火车和工业设备上的自动化系统可能会危及整体安全。因为技术不理解系统想要完成什么——因为它没有分享人类的意图——总有出错的危险。当系统的人类部分还没有做好应对技术失败的准备时，灾难就会接踵而至。
这里有一个恰当的例子:当飞机的空速不足以产生足够的升力来保持飞机飞行时，飞机就会失速。如果它失速，飞机就会从空中坠落。从失速中恢复的一个好方法是将机头向下，增加引擎功率，直到飞机的空速产生足够的升力使飞机保持在空中。失速恢复是未来飞行员在飞行学校掌握的最基本技能之一。这就是为什么调查人员在找到法航447航班的黑匣子时感到震惊的原因。2009年，法航447航班坠入大海，造成228人死亡。这架空客A330客机进入失速状态，正从空中坠落。副驾驶莫名其妙地试图把机头向上推，而不是向下推。怎么会这样呢?美国联邦航空管理局(Federal Aviation Administration，简称faa) 2013年委托撰写的一份报告得出结论称，飞行员过于依赖自动化，缺乏基本的手动飞行技能，导致他们无法应对异常情况。在这种情况下，机组人员可能没有意识到这架飞机可能会失速，也没有正确解读设备提供的警告信号。 This is a perfect example of the automation paradox: The plane’s automation technology was so powerful that when it failed, the pilots as a group didn’t know what to do.
由于GPS设备的普及，你可能已经经历了自动化悖论。有些人与他们的关系如此密切，他们做任何他们的GPS告诉他们做。你很容易忘记GPS设备并不能真正理解你想要完成的任务。有很多故事说，人们开车驶入水体或悬崖，因为他们太忙着服从他们的GPS主人。
伴随自我意识而来的技能之一是反思发生了什么。人们总是可以观察和评价自己的行为。他们可以退后一步，让自己意识到他们在做什么，以及在他们的直接环境中发生了什么。他们甚至可以观察到自己的一些思维过程(思考、意识部分)。如果他们不喜欢他们所看到的，他们可以施加一些影响来改变它。当然，这种影响是有限的。如果你在没有冰锥的情况下滑下一片冰面，那么你几乎无法停下来。同样，如果你被一些恐惧或欲望所困扰，你也可能无法控制它们。但至少我们有这种能力——当我们清醒有意识的时候——能意识到正在发生的事情。在某种程度上，我们可以控制自己的行为(例如，如果我们没有无法控制地被面前的一大块巧克力蛋糕吸引)，我们可以修改自己的行为。
相比之下，机器总是必须服从它们的程序。他们的程序可能是复杂的，而且有办法对它们进行编程以适应不断变化的环境。但最后，如果程序设计者没有想到机器不知道如何应对的情况，而这种情况真的发生了，机器就会做错误的事情。因此，人类的一个关键角色是监督——就是在那里，以防出现严重的错误。今天最大的危险是没有人能够获得理解和控制现代尖端技术所需的全部知识。技术正以前所未有的速度变得越来越复杂。
史蒂文·斯洛曼(Steven Sloman)是布朗大学认知、语言和心理科学教授。他是这份杂志的主编认知。
菲利普·芬巴赫(Philip Fernbach)是认知科学家，也是科罗拉多大学(University of Colorado)利兹商学院(Leeds School of Business)的营销学教授。
从《知识错觉:为什么我们从不独自思考》版权所有©2017由Steven Sloman和Philip Fernbach出版。
主导形象艺术创作：Stockbakery；Borysevych.com/Shutterstock；托马斯·凯泽/维基百科
