部落主义是一种自然失调吗?

F在卡内基梅隆大学的一间办公室里，我的同事约翰·米勒和我开发了一个带有种族灭绝倾向的计算机程序。

这当然不是我们的意图。我们不是研究种族或战争的学者。我们对原始合作的出现很感兴趣。因此，我们制造了生活在想象社会中的机器，让它们彼此玩一个游戏——众所周知，这个游戏会产生复杂的社会行为，就像一团糊状的香蕉会让果蝇一样。

这个游戏叫做囚徒困境。它有很多伪装，但本质上是一个关于两个人的故事，他们可以选择合作或欺骗。如果他们都作弊，他们都会遭殃。如果他们都合作，他们都会成功。但如果一方试图合作而另一方作弊，作弊者会更成功。

游戏的通用性吸引了政治哲学家，但严格的专一性使其能够引导计算机模拟。作为研究人类行为的数学工具，它相当于伽利略的斜面理论，或孟德尔的豌豆植物理论。你是加入罢工，还是偷偷越过纠察线?控制产量以保持高价格，还是削弱卡特尔并涌入市场?在学习小组中发挥你的作用，还是把工作留给别人?

那些不懂密码的人有祸了。

我们的模拟很简单:在虚拟世界中，具有有限推理能力的决策机器反复玩游戏。我们是不可饶恕的算账人，奖赏富足的人，惩罚不富足的人。成功的机器将他们的策略传递给下一代，偶尔会有微小的变化，以模仿典型的文化进化的盲目扭曲。

我们还为机器提供了一种简单的语言来进行思考，并提供了足够的资源来存储并对其进行操作。每一代成对的机器都要多次面对对方。这就是生活对我们的表现:我们一次又一次地遇到我们的贸易伙伴，我们如何对待他们会产生一些后果。我们的世界模型是两个在沙滩上相遇的鲁滨逊漂流记。

当我们让这些小社会向前发展时，我们希望证实许多人认为的囚徒困境的最佳策略:以牙还牙。采用这一策略的机器一开始会遵守承诺，但一旦出现作弊行为，就会进行报复，以作弊作为回报。一报还一报是荣誉的游乐场规则:善待他人，除非他们给你其他理由——并合理地迅速原谅。

然而，当我们查看模拟的输出时，我们看到了一些非常不同的东西。在一段早期的混乱时期之后，一台机器迅速崛起，统治了它想象中的世界数百代，直到它突然崩溃，让世界陷入混乱的冲突中，下一个循环由此产生。在这样一个世界里，考古学家可能会遇到在火山灰和骨头时代交替出现的层层繁荣。

与一个由谨慎、骄傲的合作者统治的有序游乐场不同，人类产生了对我们毫无意义的奇异结构。直到有一天晚上，我们在办公室里填满了方格纸，才偶然发现了真相。占主导地位的机器将玩家的行为视为一种代码，当他们面对自己的副本时，它们可以通过这种代码识别出来。

在游戏的开始步骤中，他们会发现一个独特的模式:合作，欺骗，欺骗，合作，欺骗，合作(例如)。如果他们的对手以完全相同的方式回应，即在他们作弊时作弊，在他们合作时合作，他们最终将转向永久合作阶段，以互惠互利的行动奖励对手。

然而，那些不懂密码的人有祸了。任何偏离预期顺序的行为都会招致全面而持久的战争。这样的回应可能会让两台机器都瘫痪，就像一种数字自杀式袭击。因为这个序列很难偶然发现，只有统治机器的后代才能从无私合作的邮政编码时代中获利。其他人都被杀死了，包括那些使用以牙还牙策略的人。这种主导地位将持续到几代人之间传递的代码中积累了足够多的错误，以至于主导机器停止相互识别为止。然后，他们就会彼此仇视，就像他们曾经仇视外人一样，形成一种人口层面的自身免疫疾病。

在《旧约全书·士师记》中记载的部落种族灭绝之后，只要这些法典还在，我们就称它们为shibbolths:

基列人把守约旦河的渡口，对着以法莲人所以以法莲逃脱的人说，容我过去。基列人回答他说，艺术你一个以法莲吗?他若说，不是。于是对他说，你说示播列吧。他说西播列，因为他说不出话来它正确的。他们就将他拿住，杀在约旦河的渡口。那时以法莲人被杀的有四万二千。

陈规陋习是人类文化冲突的共同特征。芬兰人不会发音yksi(意思是“一个”)在芬兰内战期间被认为是俄罗斯人。如果把休斯敦街(Houston Street)读成德克萨斯州的城市，曼哈顿市中心的游客很快就会认出自己。

在这里，我们的机器利用它们有效地统治了一个种群，以至于其他种群都无法生存。即使在那个时代结束后，继承骨灰的还是他们的后代。进化的盲目之手找到了一个简单的，即使是邪恶的解决办法。

那是一幅赤裸裸、残酷无情的社会图景。但我们给机器的思考资源非常有限。如果两个完全理性的机器都知道对方同样是完全理性的，那么它们在冲突中会如何行动?根据理性的本质，两个完全理性的人，面对同样的问题，应该以同样的方式行事。知道了这一点，每个人都会选择合作——但不是出于利他主义。双方都会意识到，如果自己作弊，对手也会作弊，这使得双方都是游戏中的输家。

这两个端点建立了一个谱。一端是计算能力极低的机器，是文化的狭隘零点，我们发现，这自然会浓缩成一种邪恶的部落主义。另一端是完全理性行为者的必然合作。

在这条禽兽般的机器和天使般的理性之间，我们在哪里能找到人类呢?

我如果我们人类是超理性的，或者至少正朝着超理性的方向发展，我们就有理由感到乐观。弗朗西斯•福山(Francis Fukuyama)在1992年撰写他的历史终结论文时，或许也在这么想。虽然福山的观点是植根于19世纪德国哲学家弗里德里希·尼采和Georg威廉•弗里德里希•黑格尔等,这样我们可能会改写:一个足够复杂的模拟人类的生活将终止在一个理性的、自由-民主和资本主义秩序站对一组分散,分散的敌人。

福山的论点不仅基于哲学上的思考，还基于对当时时事的解读:共产主义的崩溃，电子媒体的繁荣，显然毫无摩擦的边境开放，以及股市开始了史诗般的牛市。

今天，他的论文似乎是一个早期梦想的纪念碑(其中一章的标题是“VCR的胜利”)。今天，我们的文化在不断发展，但似乎并没有朝着任何和谐的方向发展。21世纪的混乱让我们的模拟非常熟悉。在9/11事件发生20年后，即使是西方自由民主国家也愿意考虑人类行为的黑暗模型，以及比福山更黑暗的理论家。

例如，卡尔·施密特(Carl Schmitt)，他认为民主的审议元素是更专制的权力形式的装饰。还有罗伯特•米歇尔斯(Robert Michels)，他对政治不平等的研究让他认为，在社会进化过程中，民主只是由少数封闭的精英统治的一个临时阶段。当处于两种政治极端的知识分子越来越多地将理性政治秩序的可能性视为一种幻想时，shibbolths开始在定义种族、国家和宗教边界方面发挥作用，并再次成为政治生活中不可消除的特征。

和丰富,是一个伟大的山谷之间的这些哲学,和另一个计算机模型之间的匹配之间的简单,暴力和经理人的代理约翰•米勒,我模拟中的合作者,福山可能认为是等在历史的终结。这些模型至少鼓励了一种谨慎的乐观主义。

在伯克利的机器智能研究所(MIRI)，参加会议的研究人员研究了理性但资源有限的机器的行为，这些机器可以检查彼此的源代码。这样的透明度似乎解决了合作的问题:如果我可以通过模拟对手的源代码来预测他会做什么，我可能会认为作弊是不值得的。但是，如果我的对手的代码包含了我运行该模拟的结果的模拟，并试图利用这种知识，那该怎么办?如果没有完美理性的对称性，这个问题就会导致一些极端的心理扭曲。

MIRI里的一些机器可能会让你想起你认识的人。例如，“CliqueBot”只与共享相同源代码的任何人合作。它只关心与自己匹配的代码。另一方面，“FairBot”则试图透过表面差异来证明对手会与与自己相似的人合作。FairBot非正式地说:“如果我能证明我的对手会与我合作，我就会与他合作。”

这些机器运转得怎么样？虽然完整的解决方案是一个回归悖论，但对囚徒困境对峙中预测机器行为的研究提供了令人欣慰的答案，即相互合作至少是可能的，即使对于资源有限的参与者也是如此。例如，FairBot可以识别类似的公平机器，即使它们有不同的源代码，这表明多样性和合作并非不可能，至少在智能足够高的情况下是如此。¹

即使是极端暴力的种族灭绝机器也可能带来鼓舞人心的教训。它们从一块电路板的深处出现，在德克萨斯州的一台超级计算机上进行了模拟。他们没有生物学上的借口可以依靠。也许我们也不应该找借口:如果一种行为如此常见，以至于在最简单的模拟中出现，也许我们不应该害怕它，也不应该崇拜它，而是应该对待它，就像对待癌症或流感一样。

如果我们将部落主义视为任何认知系统的自然失灵，无论是硅还是碳?既不是普遍真理，也不是不可避免的罪恶，而是需要克服的东西?

西蒙·德迪奥（Simon DeDeo）是卡内基梅隆大学（Carnegie Mellon University）的助理教授，他负责管理社会思维实验室，并在圣菲研究所（Santa Fe Institute）担任外部教员。

作者想要感谢艾伦图灵研究所在写这篇文章时的夏季款待。

这个项目的计算是通过德克萨斯高级计算中心和美国国家科学基金会XSEDE完成的。

工具书类

1.Barasz, M。等．囚徒困境中的稳健合作:可证明逻辑的程序均衡。arXiv1401.5577(2014)。