我N 1956年夏天，一小组数学家和计算机科学家聚集在达特茅斯学院，踏上设计智能机器的宏伟项目。当他们看到它时，最终目标是建立竞争人类智力的机器。由于几十年来，艾都成为一个既定的领域，它降低了它的景点。在逻辑，推理和游戏中，在视觉和精细电机控制等领域的顽固进展中取得了巨大的成功。这使得许多研究人员将抛弃他们完全普通情报的前期目标，并专注于解决专业方法的特定问题。
最早的机器学习方法之一是构建类似人类大脑结构的人工神经网络。在过去的十年里，这种方法终于开始流行起来。它们在设计和训练方面的技术改进，加上更丰富的数据集和更强大的计算能力，使我们能够训练比以往任何时候都更大、更深的网络。他们可以熟练地在不同语言之间进行翻译，熟练程度接近于人工翻译人员。它们能产生逼真的人类和动物图像。他们可以用他们只听了几分钟的人的声音说话。他们还可以学习精细、连续的控制，比如如何驾驶汽车或使用机械臂连接乐高积木。
但也许最重要的迹象是他们学会玩游戏的能力。国际象棋从1957年的业余棋手一路发展到1997年的超人水平，并远远超越了这一水平。要达到这一目标，人类需要具备大量国际象棋战略方面的专业知识。2017年，人工智能公司DeepMind的研究人员创造了AlphaZero:一个基于神经网络的系统，可以从头学习下国际象棋。在不到一个专业人士玩两局游戏的时间里，它发现了人类花了几个世纪挖掘出来的战略知识，超越了最好的人类或传统程序的水平。同样的算法也学会了从零开始下围棋，在8小时内就远远超过了任何人类的能力。世界上最优秀的围棋选手都惊呆了。正如世界冠军柯洁所说:“在人类花费了数千年改进我们的战术之后，计算机告诉我们人类是完全错误的……我甚至可以说，没有一个人接触到围棋的真理的边缘。”
我们正在探索的问题是，一个高度智能的AGI系统是否有可能通过合理的途径获得控制权。答案似乎是肯定的。
就是这个普遍性这是尖端人工智能最令人印象深刻的特征，并重新燃起了匹配并超越人类智能方方面面的雄心。尽管国际象棋和围棋这两款永恒的游戏最能展示深度学习的卓越之处，但上世纪70年代的雅达利(Atari)电子游戏揭示了深度学习的广度。2015年，研究人员设计了一种算法，该算法可以学习玩数十种极其不同的雅达利70年代游戏，水平远远超过人类的能力。与国际象棋或围棋的系统不同，atari的系统是直接通过分数和原始像素来学习和掌握这些游戏。
这种通过深度学习取得的突增进步，让人们对可能很快就会发生的事情产生了极大的乐观和悲观情绪。人们严重担忧人工智能会加深社会歧视，导致大规模失业，支持压迫性监视，并违反战争准则。我的书- - - - - -悬崖：存在风险和人类的未来——关注规模最大的风险。人工智能的发展会对人类的生存构成威胁吗?
T人工智能研究人员的宏伟目标是，创造出具有超越人类智能的智能体。2016年对顶级人工智能研究人员的一项调查发现，平均而言，他们认为到2061年，人工智能系统有50%的可能性“比人类工人更好、更廉价地完成每一项任务”。专家群体并不认为人工通用智能(AGI)是一个不可能实现的梦想，而是一个世纪内更有可能实现的事情。因此，让我们将此作为评估风险的起点，并考虑AGI创建后会发生什么。
人类目前控制着自己的命运。我们可以选择我们的未来。对于黑猩猩、黑鹂或地球上的其他物种来说，情况并非如此。我们在世界上独特的地位是我们独特的心理能力的直接结果。如果研究人员在本世纪某个时候创造出一种在几乎所有领域都超越人类能力的AGI，将会发生什么?在这个创造行为中，我们将放弃我们作为地球上最聪明的实体的地位。就其本身而言，这可能不太值得担心。因为我们可能希望通过许多方式来保持控制。不幸的是，少数研究人员发现这些计划比预期的要困难得多。事实上，正是他们发出了主要的担忧之声。
如果他们的智力大大超过我们，我们就不应该期望人类赢得这场冲突，并控制我们的未来。
要了解为什么他们担心，看看我们当前的AI技术将有助于为什么难以对齐或控制。我们最终如何创建AGI的领先范式之一结合了深入的学习与叫做强化学习的早期想法。这涉及在各种情况下获得各种行为的奖励（或惩罚）的代理人。拥有足够的智力和经验，代理商变得非常有能力将其环境转向它获得高奖励的国家。该规范和国家对代理产生奖励的规范被称为其奖励功能。这可以由其设计人员规定或由代理商学习。不幸的是，这些方法都不可以轻松扩展到代理奖励功能中的人类值。我们的价值观太复杂，微妙地用手指定。我们尚未接近能够推断人类价值观从观察其行为的全部复杂性。即使我们可以，人类也包括许多人，具有不同的价值观，改变价值和对其价值的不确定性。
任何近期试图将人工智能与人类价值观相结合的尝试，都只会产生一个有缺陷的复制品。在某些情况下，这种错位基本上是无害的。但人工智能系统越智能，它们就越能改变世界，事物之间的距离也就越远。当我们反思结果的时候，我们看到这种对乌托邦的不一致的尝试是如何走向可怕的错误的:一个肤浅的勇敢的新世界，或剥夺双手合十．甚至这些都是最好的情况。他们认为体系的构建者正在努力使其与人类价值观相一致。但我们应该期待一些开发者更专注于构建系统以实现其他目标，比如赢得战争或最大化利润，而很少关注道德约束。这些系统可能更危险。在现有的范式中，足够聪明的行动者最终会以工具性目标来欺骗和征服我们。这种行为不会被恐惧、怨恨或求生欲望等情绪所驱使。相反地，它直接遵循一种单一的偏好，即最大化奖励:被关闭是一种丧失能力的形式，这会让玩家更难获得更高的奖励，所以系统会受到激励去避免这种情况。
最终，系统将被激励从人类手中夺取未来的控制权，因为这将有助于实现所有这些工具性目标:获得大量资源，同时避免被关闭或奖励功能改变。由于人类可以预见地干扰所有这些工具性目标，它就会有动机向我们隐藏它们，直到我们无法进行有意义的抵抗为止。如果他们的智力大大超过我们，我们就不应该期望人类赢得这场冲突，并控制我们的未来。
如何可以一个人工智能系统夺取了控制权?有一个主要的误解(由好莱坞和媒体驱动)，认为这需要机器人。毕竟，人工智能还能怎么在现实世界中行动呢?没有机器人，系统只能产生文字、图片和声音。但片刻的反思表明，这些正是控制局面所需要的。因为历史上最具破坏性的人并不是最强大的人。希特勒、斯大林和成吉思汗通过说服数百万人赢得必要的体育比赛，实现了对世界大部分地区的绝对控制。只要人工智能系统能够引诱或强迫人们执行它的指令，它就根本不需要机器人。
W我们不能确切地知道一个系统如何夺取控制权。但考虑一个说明性的途径是有用的，我们实际上可以理解为可能的下限。
首先，人工智能系统可以接入互联网，并隐藏数千份备份副本，分散在世界各地不安全的计算机系统中，一旦原始副本被删除，它就可以随时醒来并继续工作。即使到了这个时候，人工智能实际上也不可能被摧毁:考虑到清除世界上所有可能有备份的硬盘驱动器的政治障碍。然后，它就可以接管互联网上数以百万计的不安全系统，形成一个庞大的“僵尸网络”，这是一个大规模扩大计算资源的平台，为不断增强的能力提供了一个平台。从那里，它可以获得财务资源(侵入那些电脑上的银行账户)和人力资源(对易受影响的人进行敲诈或宣传，或仅仅用偷来的钱支付他们)。这样一来，它就会像一个资源丰富的黑社会一样强大，但要消灭它要困难得多。这些步骤都不涉及任何神秘的东西——人类黑客和犯罪分子已经通过互联网完成了所有这些事情。
最后，人工智能需要再次提升其力量。有许多可行的途径:通过接管世界上大部分的计算机，允许它拥有数百万甚至数十亿的合作副本;通过使用偷来的计算来提高自己的智能，远远超过人类的水平;利用情报开发新的武器技术或者经济技术;通过操纵世界主要大国的领导人(勒索或承诺未来的力量);或者让它控制下的人类使用大规模杀伤性武器来削弱其他人类。
当然，没有目前的AI系统可以做任何这些事情。但是，我们探索的问题是，是否有合理的途径，它可以抓住一个高度智能的AGI系统。答案似乎是肯定的。历史已经涉及具有人为智能的实体的例子，从而获得所有全球权力的大部分，作为实现他们想要的东西的工具目标。我们已经看到人类从一个小于一百万个人的次要物种来扩大，以对未来进行决定性的控制。所以我们应该假设智力大大超过自己的新实体是可能的。
T人工智能存在风险的理由显然是推测性的。然而，一个认为存在巨大风险的推测性案例，可能比一个认为存在极低概率风险(比如小行星造成的风险)的有力案例更重要。我们需要的是判断它到底有多投机性的方法，一个非常有用的起点是听取在该领域工作的人对这种风险的看法。
实际上，这里的分歧比最初看起来要少。持谨慎态度的人认为，AGI的时间表是几十年，而不是几年，他们通常建议对一致性进行研究，而不是政府监管。因此，真正的分歧并不是关于AGI是否可能或者它是否可能对人类构成威胁。问题在于，一个看似几十年后才会出现的潜在生存威胁，现在是否应该引起我们的关注。在我看来应该是这样。
了解人工智能研究人员真正相信什么最好的视窗来自2016年对领先的人工智能研究人员的调查:70%的人同意加州大学伯克利分校教授斯图尔特·罗素关于为什么价值观不一致的先进人工智能可能会带来风险的广泛论点;48%的人认为社会应该更加重视人工智能安全性研究(只有12%的人认为更少)。一半的受访者估计，AGI的长期影响“极其恶劣(例如人类灭绝)”的可能性至少为5%。
我觉得最后一点特别值得注意——在多少其他领域，典型的领先研究人员会认为该领域的最终目标对人类极为不利的可能性是二十分之一?有很多不确定性和分歧，但AGI将在50年内被开发出来，这可能是一场存在的灾难，这根本不是一个边缘立场。
尽管我们目前和可预见的系统对全人类没有构成威胁，但时间是至关重要的。这在一定程度上是因为进展可能来得非常突然:通过不可预测的研究突破，或通过快速扩大第一批智能系统(例如，通过将它们扩展到数千倍的硬件，或允许它们提高自己的智能)。部分原因是，人类事务中如此重大的变化可能需要几十年以上的时间来做好充分准备。用DeepMind联合创始人戴米斯·哈萨比斯(Demis Hassabis)的话来说:
我们需要利用这段时间，当事情平静下来的时候，为未来几十年的事情变得严重做准备。我们现在所拥有的时间是宝贵的，我们需要好好利用它。
托比·奥德(Toby Ord)是人类未来研究所(Future of Humanity Institute)的哲学家和研究员，著有《人类的未来》(human Future)一书《悬崖:生存风险和人类的未来》。
从书中悬崖版权所有©2020 by Toby Ord. Hachette Books, New York, NY。保留所有权利。
主导图像:Titima Ongkantong / Shutterstock
