我如果人类继续创造人工智能，它会对我们构成重大威胁吗?几位技术名人对这种可能性表示了公开和明确的态度:SpaceX创始人埃隆·马斯克(Elon Musk)将其等同于“召唤的恶魔”；史蒂芬·霍金警告说会导致人类的灭亡吗”;比尔·盖茨也同意马斯克的观点，把自己放在“关心”的阵营．
他们担心的是，一旦人工智能被开启，并逐渐承担起越来越多的责任来管理我们这个勇敢、新奇的世界——一直在改进自己最初的设计——有什么能阻止它意识到人类的存在是低效的，甚至是令人烦恼的呢?如果像马斯克说的那样，人工智能决定摆脱垃圾邮件的最佳方式，或许它会想摆脱我们。”是为了摆脱人类”。
毫无疑问，警告某些趋势或技术的反乌托邦潜力是有价值的。乔治·奥威尔的1984例如，对那些让我们想起老大哥的技术或机构来说，它总是一个警告。但是，对人工智能的担忧会不会只是每一项有望带来更光明未来的激进新技术的不幸命运:被指责为厄运的预兆?这当然不是史无前例的。想想另一种强大的技术所带来的恐惧:DNA重组．
一个自我完善的个体必须对其更聪明的后继者的行为进行抽象的推理。如果它能详细地预测他们的行动，它就已经和他们一样聪明了。”
1972年，斯坦福大学的著名生物化学家保罗·伯格创造了一条DNA链它包含了一种可能与癌症有关的病毒的所有基因，并将其与居住在人类肠道中的一种细菌的基因融合:大肠杆菌．这引起了一阵不安的骚动。但警报真的响了当研究人员创造了第一个DNA重组,展示克隆任何生物DNA的能力，以及混合和匹配基因以产生新的生命形式的能力。哥伦比亚大学的生物化学家欧文·查加夫(他的工作对沃森和克里克发现双螺旋结构起了不可估量的作用)给《科学》杂志的编辑写了一封信科学题为“关于基因干预的危险，强调“正在考虑的事情令人敬畏的不可逆性。”他认为，玩弄自然界数百万年来维持的秩序和稳定是最鲁莽的行为。“未来，”他总结道，“会因此诅咒我们。”几个月后，康奈尔大学(Cornell)的生物化学家、斯隆-凯特林癌症研究所(Sloan-Kettering Institute for Cancer Research)的成员利比·卡瓦利里(Liebe Cavalieri)提出了这个观点到纽约时报如果不停止重组DNA的研究，我们可能会遭受灾难性的后果。为了阻止相关科学家的雄心壮志，卡瓦利里甚至建议“诺贝尔委员会宣布，这一领域将不再颁发任何奖项。”Chargaff和Cavalieri代表了一个研究小组，他们希望看到重组DNA在可预见的未来被禁止使用。
看到重组DNA研究有可能引发流行病伯格呼吁在全球范围内暂停这导致了1975年在加州组织的阿西洛玛会议。来自十几个国家的100多名科学家，以及律师、记者和政府官员参加了会议。与会者激烈争论无论重组DNA的研究是“在与灾难调情”还是安全，即使是在吃饭休息和喝鸡尾酒的时候，直到凌晨。
在会议的最后一天，会议同意继续进行研究，但仅限于对潜在危险的实验进行最严格的限制。在这些情况下，气闸和通风系统是强制性的，以防止一些粗糙的病毒或细菌逃逸。为了更加安全，被篡改的微生物必须经过基因削弱，这样它们在实验室外就会死亡。诸如此类的规定有助于形成国家卫生研究院的生物安全指南，每十年更新多次，最近一次是在2013．如果你是一名研究人员，你想做一个涉及重组DNA的实验，你必须这么做注册并获得批准如果实验室的工作涉及克隆潜在致命的DNA或RNA组合，或使用人类或动物病原体作为操纵基因的宿主，安全委员会就会予以批准。正如伯格后来所说，阿西洛玛尔会议允许研究在“黄灯下”小心地进行说．
尽管卡瓦利里提出了警告，伯格和他的生物化学家同事们还是在1980年获得了诺贝尔奖。从那时起，人们进行了无数的重组DNA实验，其中许多在1975年是不可想象的没有任何危险后果．那些忧心忡忡的著名反对者最终站在了历史错误的一边。迄今为止，生物学家们已经成功地阻止了Chargaff和Cavalieri所预言的厄运。
但我们的生物安全防御偶尔也会出现失误。比如，直到去年，一堆装着天花病毒的旧药瓶才被发现。这些药瓶被小心翼翼地放在一个标有“1954”的纸板箱里发现了在美国国家卫生研究院中心的美国食品和药物管理局实验室。和一个月前,美国疾病控制中心的主任透露,实验室工作人员回避的处理和存储是住炭疽,以及无意中混合致命的H5N1病毒与一种良性的病毒毒株装运到另一个实验室。波士顿大学(Boston University)医学教授黛博拉·科顿(Deborah Cotton)写道，应变轻信．”她建议，在能够更可靠地防止这类错误之前，应该暂停高风险的实验。由于人类和组织的性质，即使我们最勤奋的预防措施也总是会出错。
根据我们在生物安全方面的经验，我们能够阻止超级智能人工智能失控并威胁我们吗?如果是这样的话，一个重要的原因可能是正在进行的如何创建和维护“友好的人工智能”的工作。
内特·苏亚雷斯(Nate Soares)是机器智能研究所(Machine Intelligence Research Institute)的研究员，曾在微软(Microsoft)和谷歌工作。在他最近的一篇论文价值学习问题实际上，他的观点是，艾瑞莎·富兰克林(Aretha Franklin)说的“R-E-S-P-E-C-T/看看它对我意味着什么”做得还不够。换句话说，仅仅让人工智能理解什么是道德行为是不够的;它还必须有偏好为它。但是，每个家长都知道，给孩子灌输这种思想会让他们抓狂。然而，让这种恼人的情况变得可以忍受的是，孩子在这段时间内没有能力做出任何真正的伤害——对于超级智能来说，情况可能根本不是这样。“考虑到编写无漏洞软件的风险和难度，”Soares写道，“在构建超级智能系统时，必须采取一切可用的预防措施。”苏亚雷斯说，至关重要的是，我们不能等到技术成熟才开始考虑预防措施;即使我们的指导方针是模糊和抽象的，也总比没有好。
“如果这是航空的时间表，我们就只会刚刚超越几个发明家在鼓捣扑翼装置的阶段。”
其中一项预防措施是基于这样一种假设:人类不会直接创造超级智能;相反，我们将创造一个人类级别的AI，然后不断完善自己的设计，使自己比人类能够设计的任何东西都更有独创性。因此，我们面临的挑战是，确保人工智能在精炼自己的智能时，能够明智地操作，确保它在重新连接自己的“大脑”的同时，也能维护我们的道德价值观。如果你看到了隐藏在这里的悖论，你是对的:这类似于试图想象，如果你比自己聪明，你会在一个困难的情况下做什么。这就是为什么“一个自我完善的主体必须从抽象的角度思考其更聪明的后继者的行为，”苏亚雷斯解释道。“如果它能详细预测他们的行动，它就已经和他们一样聪明了。”
到目前为止，苏亚雷斯认为我们还远远没有一个充分的理论来解释超越我们的智慧是如何思考的。他强调的一个主要障碍是对人工智能的自信程度进行编程，因为它永远无法拿出数学上确定的证据，证明一个决定优于另一个决定。程序在太多的怀疑中，它永远不会决定如何有效地修改自己;过于自信的规划，只会执行糟糕的决策，而不是寻找更好的决策。在令人瘫痪的不安全感和傲慢的自信之间找到平衡是非常复杂的。让人工智能自己解决这个问题可能是不可能的，因为这可能需要我们对理论问题有比目前更深的理解;这甚至可能是不明智的尝试，因为超级AI可能会认为欺骗我们符合自己的利益。
苏亚雷斯写道，这就是为什么在允许机器自我修正之前，首先弄清楚如何让机器变得道德“至关重要”的原因。“虽然所有其他预防措施都是为了预防灾难，但只有有价值的学习才能使成功成为可能。”
但对其他一些人工智能研究人员来说，预防措施不仅是不必要的，而且是荒谬的。Richard Loosemore在为伦理与新兴技术研究所撰写的一篇文章中写道:“这些末日场景在逻辑上是不连贯的，从根本上说，它们可以被视为极不可信。”他特别提到了机器智能研究所兜售毫无根据的妄想狂．他们的限制将“要求人工智能非常不稳定，永远无法达到会变得危险的智能水平，”Loosemore写道。
从这场争论中可以得出的一个结论可能是，这项技术还太遥远，无法让人信服。正如Loosemore宣称的那样:“如果这是航空的时间线，而不是人工智能的时间线，我们将刚刚超越少数发明家在摆弄扑翼装置的阶段。”另一方面，超级智能的发展可能是一个典型的例子，说明安全总比遗憾好。
布莱恩·加拉格尔是鹦鹉螺．
