我2016年，一位梅赛德斯-奔驰高管引用他表示，该公司的自动驾驶汽车将把乘客的安全放在首位。这一评论引起了人们对豪华车撞倒无辜路人的强烈反应，直到该公司走回来最初的声明。然而，不惜一切代价保护司机是司机们想要的:最近出版的一篇文章研究在里面科学(可用阅读在…上arXiv）这表明，尽管原则上人们希望智能汽车能够挽救尽可能多的生命（比如避免撞到一群儿童），但他们也希望汽车能首先保护乘客。
我们很难相信这种算法，因为我们——名义上掌管人工智能的人类——对这个困境没有“正确”的伦理答案。此外，可能更糟的是，算法本身可能会改变。无论一辆汽车的人工智能最初是如何编程的，如果它的设计初衷是在驾驶过程中学习和改进自身，那么在复杂的事故中，它的行为可能会变得不可预测，可能会以无法让任何人满意的方式发生。作为一名司机，担心你的车是否真的想保护你会让人不安;幸运的是，道德上模棱两可的驾驶情况并不经常发生——如果自动驾驶汽车实现了其吹嘘的高性能承诺，这种情况可能会更少发生，这将大大降低汽车事故的频率，尽管这还有待观察。上个月，一辆特斯拉Model X采用了自动驾驶，砰的一声撞上加利福尼亚州的一条高速公路中央隔离带并起火，导致司机死亡（该车多次警告司机把手放在方向盘上），在亚利桑那州，一辆自动驾驶优步车也被炸死致命一击行人。
作为一名司机，如果你担心你的车是否真的想保护你，那会让你感到不安。
人工智能被故意设计成在战争中杀死的潜在危害要紧迫得多。美国和其他国家都是如此工作很难开发出以自动化武器形式出现的军事人工智能，以增强战场能力，同时减少士兵的伤亡。对美国来说，这是现有不完善的无人机作战计划的自然延伸——军事情报方面的失败导致了这一错误谋杀在伊拉克的非战斗人员。五角大楼说它不打算把人类从决策过程,批准使用致命武力,但是人工智能技术远超人类在越来越多的领域如此之快,许多人担心失控的全球军备竞赛,很容易加速向完全自治weaponry-autonomous,但不一定与良好的判断力。
谷歌的数千名员工都对这一结果感到担忧。谷歌一直在向五角大楼的Maven项目提供人工智能方面的专业知识，该项目自去年以来一直在建立一个“算法战争跨职能团队”，最终将允许一名人类分析师，根据对海军陆战队上校德鲁·库科尔来说，“要做的工作是他们现在做的两倍，可能是现在的三倍”，比如在无人机视频中识别目标、路边炸弹种植机。“12月初，距离项目启动仅六个多月根据《原子科学家公报》称，“Maven的第一个算法被用于国防情报分析师，以支持打击ISIS的真正无人机任务。”在一份由3100多名员工，包括许多高级工程师签署的请愿书中，根据到纽约时报，员工们要求谷歌停止协助Maven项目，并表示，“我们认为谷歌不应该参与战争。”
即使谷歌退出，其他开发人工智能的公司，如微软和亚马逊，也可能会介入，亚马逊被认为是最喜欢赢五角大楼数十亿美元的云服务合同，其中包括人工智能技术。因此，我们很容易想象，在不远的将来，有一家公司会帮助军方设计一种人工智能，它能比任何人类士兵更快、更准确地选择目标、瞄准和开火，但却缺乏更广泛的智能来决定目标是否合适。这就是联合国的原因考虑到如何对致命的自主武器设定国际限制。2015年，数千名人工智能和机器人研究人员问如果自主武器缺乏人的控制，则应予以禁止，因为除其他原因外，“自主武器是暗杀、破坏国家稳定、征服人口和有选择地杀害特定民族等任务的理想武器。”
这些可怕的干扰将在目前或不久的将来存在的专门人工智能能力的掌握范围内，比如面部识别，这将使追捕特定的暗杀目标成为可能;或者更糟的是，算法只根据外部物理特征，比如肤色，来挑选整个人类目标群体。再加上一个聪明的独裁者告诉他的人民，“我的新人工智能武器会杀死他们，但不会杀死我们，”你就有了潜在的反人类高科技犯罪，其代价可能比制造流氓核武器更低。当然，假设像ISIS这样的组织能够获得人工智能能力并不牵强。它的武器供应链——其中一些被创造性地用于城市战斗——可以追溯到美国。“ISIS生产如此先进的武器标志着其野心和能力的显著提升。”《连线》杂志报道12月。“它也提供了一个令人不安的未来战争的一瞥，在那里，黑网文件共享和3d打印意味着任何组织，任何地方，都可以开始自己的本土武器工业”——这是一个诱人的可能性，国际坏人扩大他们的影响。
我们在处理像朝鲜这样的国家的大规模武器能力方面已经遇到了足够多的问题。让我们希望，我们能将人工智能排除在小团体恶意开发的任何武器库之外。
西德尼伯寇维兹他是埃默里大学(Emory University)物理学荣誉退休教授数字的人，刚出版的《弗兰肯斯坦:怪物如何成为偶像》他还著有其他关于人工智能、机器人和各种科学技术题材的畅销书。在推特上关注他@physp．
最新和最受欢迎的文章将直接发送到您的收件箱！
观察:与机器人一起工作可以告诉你什么是人类。
加州大学伯克利分校自动化科学实验室杰出的机器人学家和研究员，国际公认的艺术家" data-credits = " "风格= "宽度:733 px”>
