W内特·苏亚雷斯自己就是心理分析学家，他听起来与其说是弗洛伊德式的，不如说是斯波肯式的。他曾是谷歌软件工程师，现在是非营利机构机器智能研究所(Machine Intelligence Research Institute)的负责人博客去年。“我本能地认为，那个人一定是有恶意的。”读过或听过大卫·福斯特·华莱士的书的人都有这个习惯“这是水”演讲将承认。
后来，当他的“其他人的模型”变得“足够多样化”时，苏亚雷斯意识到这是愚蠢的——他在同一篇文章中写道，这并不是说它们是万无一无的。“我可能仍然倾向于偶尔相信某人是恶意的，但他们只是不同于我特别是当他们大部分时间的行为都与我相似时(因此我的个人建模师也会像我一样为他们建模)。”他怀疑这种“失败模式”与“典型思维”谬论有关，“因此，”他总结道，“一般来说很难击败。”
战胜偏见是苏亚雷斯的核心担忧之一——他说:“我非常在意拥有准确的信念。”其中之一是，认为人工智能会碰巧站在我们这边，就像一个由慈爱的父母所生的孩子一样。苏亚雷斯不同意这种看法:这取决于我们自己。这就是“对齐问题”。让人工智能的行为与我们的价值观和目标保持一致并非易事。事实上，根据苏亚雷斯的一名雇员、决策理论家埃利泽•尤多科夫斯基(Eliezer Yudkowksy)的说法，它可能如此具有挑战性，如此重要，以至于它定义了我们的时代。尤多科斯基在推特上写道:“我们的时代是人工智能结盟理论不足的时代。关于这个时代的任何其他事实都相对不重要……相信尼尔·德格拉斯·泰森(Neil deGrasse Tyson)说，把一个超级智能机器“放在一个盒子里”，与互联网断开连接，对于一个错位的人工智能来说，是一个糟糕的保障哀叹史蒂芬·平克对人工智能安全性的误解。捐赠者认为该研究所的使命是值得的:2017年12月，341家捐赠者认为该研究所的使命是值得的有天赋的这250万美元。
在过去的几个月里，我一直在给苏亚雷斯发邮件，讨论为什么一个错位的人工智能不需要恶意就能伤害我们。
人工智能怎么能伤害我们?
当外行人想象人工智能出错时，他们通常会想象《终结者》电影，但我认为是1940年迪士尼电影的“魔法师的学徒”短片幻想曲是一个更好的虚构插图。当米奇给扫帚施魔法来装满坩埚时，他面临的问题不是扫帚反叛或获得自己的意志，而是它完成了被赋予的任务。1这个任务是在一个复杂的物理环境中进行的，这使得它很难完全指定米奇真正关心的一切。他希望大锅是满的，而满满的车间是一个非常好的方法，以确保大锅是满的(并保持满的)。米奇成功地“瞄准”了他的人工智能系统，但米奇的情况仍然很糟糕。
今天在狭窄领域工作的人工智能系统会危及我们吗?
不是今天，但随着人工智能系统在寻找聪明的策略方面变得越来越好，随着它们在更复杂的情况下工作，我们越来越难找到能够让它们产生良好结果的方向。即使我们知道如何瞄准非常聪明/有能力的系统，使其目标与我们真正想要的结果相一致，但仍然存在一个问题，即我们还没有很好地理解如何将一个高度有能力的优化过程指向特定方向。在我看来，这个问题比较抽象，但也比较重要。
你的自动驾驶汽车或Go引擎“苏醒”不会有危险。
你会如何描述一个高能力的优化过程?
我们可以将“有效”或“有能力”的AI系统视为非常擅长识别行动序列(当执行这些行动时，会产生特定结果)的系统。为了在复杂的现实场景中做到这一点(比如想出一个科学实验的想法或未来技术设备的蓝图)，人工智能系统需要能够建立和操作世界的精确模型。世界是一个复杂的地方，第一个能够建模和管理这种复杂性的人工智能系统很可能本身就是复杂的系统。如果我们不小心，我们就会陷入这样一种境地:我们拥有一个功能强大的系统，但却没有人能完全理解其运行的原因。
我们为什么要担心不理解人工智能的工作原理呢?
例如，我们无法通过知道这些努力是如何产生的来指导系统的工作，并确保机器执行的每一个计算都是为特定的目标服务的。我们将转而使用更间接和表面的方法，以期望的方式指导解决问题的工作，例如，我们奖励系统的行为，我们认为好的，惩罚它的行为，我们认为坏的。我很大程度上认为肤浅的方法是失败的。
为什么你认为控制AI的间接方法会失败?
以自然选择为例，它积极地奖励那些促进生物体适应性的基因组，而惩罚那些降低适应性的基因组。这最终导致基因组编码的高能力一般智能推理系统(人脑),但结果是一个巨大和复杂的组装机,赋予了希望和恐惧和梦想,在当今世界,常与遗传无关健身,甚至积极冲突与健康(例如,计划生育的例子)。也就是说，很有可能设计出一种训练机制，奖励人工智能系统所期望的行为，惩罚它所不期望的行为，最终让它追求的目标只与所期望的行为不太相关。工程师可以考虑这些担忧，并故意设计系统来避免这些担忧，但这可能需要相当多的额外工作。如果我们在这些问题上失手，可能的结果是灾难，尽管在不知道如何以及何时我们将达到比人类更聪明的人工智能的细节之前，很难预测灾难的形状。
你是否担心窄智能人工智能将逐渐模糊为一般智能人工智能?
我对DeepMind的一些结果印象深刻，包括AlphaZero。这并不是说AlphaZero一定有一般智能的种子。虽然确实有很多更多的就其价值而言，它比深蓝更为普遍。不过，我并不太担心狭隘的AI会变成一般的AI:我认为后者会涉及架构挑战，而我不认为狭隘的系统会在日常操作过程中遇到这些问题。你的自动驾驶汽车或你的围棋引擎有一天“醒来”成为一个人工通用智能是没有危险的。我强烈认为，如果想让DeepMind的系统成为一个通用推理机，就必须从一开始就把它打造成一个通用推理机。也就是说，预测未来的AI系统是一项非常困难的任务，所以我在这个领域保留了很多不确定性。
如果我们不小心，我们就会陷入这样一种境地:我们拥有一个功能强大的系统，但却没有人能完全理解其运行的原因。
你为什么说你没有参与人工智能伦理?
在我看来，“人工智能伦理”涵盖的内容包括确保自动驾驶汽车可以解决电车问题，或者制定社会政策，比如基本收入，来应对自动化，或者考虑如果你建造有意识的机器，你应该赋予机器哪些法律权利。这些不是我关注的问题。我的关注点大致围绕这个问题:“如果你交给我用于自动化科学研究和技术创新的算法，我怎样才能安全地使用这些算法来完成重要任务?”如果说传统能力研究是为了开发能够解决日益困难的问题的系统，那么协同研究则是为了确保我们能够可靠地将这些能力瞄准我们想要解决的问题——即使我们的人工智能算法拥有比我们多得多的科技能力。
你在谷歌的工作是如何让你今天来到这里的?
大约在2012年，我在谷歌工作的时候，遇到了一些观点，声称人工智能——尤其是那种可以做新的科学和工程工作的人工智能系统——如果协调得当，可以极大地加速技术进步，产生大量的好东西。我花了一些时间研究这些论点，(令我惊讶的)发现它们是可靠的。我还发现，并没有像我预期的那么多研究人员致力于拼图的对齐部分。当然，我发现这个话题很吸引人:从很多方面来说，智能仍然是一个谜，而人工智能是令人兴奋的科学前沿之一，我喜欢研究人工智能帮助我完善对自己思想的理解的方式。机器智能研究所(Machine Intelligence Research Institute)是为数不多的致力于人工智能结盟的组织之一。我在2013年年中联系了MIRI，问他们需要什么样的资源来加速他们的结盟研究。六个月后——在对数学和人工智能进行了深入的研究之后——他们聘请我为研究员。一年多以后，我被任命为MIRI的执行董事。
谷歌是否不接受比对研究?
不。他们也不是特别不接受。2012年，关于人工智能的炒作浪潮还没有开始，关于人工智能的长期技术轨迹和影响的讨论也不多。这是有些变化。例如，最近，谷歌DeepMind、OpenAI和FAIR (Facebook AI Research的缩写)等知名组织都有明确的目标，要开发“普通人工智能”或“人类级别的人工智能”。但谷歌直到2014年才收购了DeepMind，而早在2012年，研究界往往更专注于更狭窄的应用。仍然有非常少的工作要进行校准，不仅仅是在谷歌，而是在一般情况下。我想说的是，谷歌在校准研究方面的工作从2016年就开始了，有几个重要的里程碑:DeepMind启动了他们的校准研究团队，谷歌Brain、Open AI和斯坦福大学的研究人员发布了一个坚实的研究议程。”人工智能安全的具体问题”。
你要雇一个机器学习活体图书管理员。那是什么?
我们有一群研究人员在机器学习领域,它往往可以加快他们的工作如果有专家非常熟悉的大片领域(谁能迅速回答问题,指出人们的相关部分,文学,等等)。我喜欢专业化的劳动，这似乎是一个从专业化中获益的成熟领域。有时我们看到招聘研究人员有他们自己的想法如何追求AI对齐,其他时候我们希望聘请研究人员和工程师可以大大加快我们的能力去追求有前途的领域的研究,我们已经挑出,我认为重要的是要明确哪些职位。
布莱恩·加拉格尔是鹦鹉螺。在推特上关注他@BSGallagher．
