如何构建概率显微镜

一世谣言是真的，20世纪的福克斯将发布1966年的科学小说电影的翻拍神奇旅程在明年或两个人。胶片背后的自负的是，其主角缩小并注射到人体中，通过它们在微观潜艇中行进。在那个尺寸的情况下，血液的漩涡变成危险的湍流。白细胞可以吞没船。液滴表面张力，以前是难以察觉的，现在形成难以置信的屏障。

改变尺度扰乱了我们直观的意义意义，是什么强大的，什么是危险的。为了生存，我们必须重新校准我们的直觉。即使熟悉尺度的每一项效果都可以忽略不计，即使在不熟悉的尺度上略有可忽略的效果也可能变得严重重要。

我们如何理解在不熟悉的尺度上是什么重要的？事实证明，存在称为大偏差理论的数学理论，这对概率的概率相同，因为收缩射线为机组人员做了相同的概率神奇旅程。虽然古典概率理论主要涉及普通事件的可能性，但大的偏差侧重于从多个略奇数的汇合中出现的极端罕见事件。它让我们缩放我们的概率显微镜，以确定最不可能的方式，即非常不可能发生。

该理论，自2010年前由Mathematician S.R的制定以来一直是激烈的研究和发展的主题。Srinivasa varadhan，向我们展示了如何平均数一个随机系统的行为可能会偏离典型的行为。通过严格比较所有罕见的可能性，我们认为，当我们将注意力归因于他们可能发生的最具超级普通方式时，我们经常低估了异常事件的概率。

手中的显微镜，让我们去旅行。

高频交易员

高频交易员进行了很长的交易。在他们每个人的财富上，它的财富从1,000,000美元开始，增加了一半或百分之一的百分比，每个百分比有概率½。在100万笔交易后他可能有多少？

他可能有理由：每笔交易上升或下降相同的金额，所以平均而言它不会改变。平均而言，他仍然应该有100万美元。

这是另一个论点：当他获得一个赢家时，他的财富乘以1.005;失败者将其乘以0.995。每一个乘以1.005 x 0.995 = 0.999975。在100万笔交易中，每个交易中有大约500,000，所以原来的100万美元应该变成约1,000,000 x（0.999975）^500,000.，约为3.73美元。

哪个论点是正确的？令人惊讶的是，两者都是，虽然第二个是更相关的。交易员几乎肯定没有任何东西，但如果我们在他提前的那些非常不太可能的事件中放大，那么他的成果将提前一大笔钱。关键是一个函数一世（X）称为速率函数，告诉您如何获得结果的概率X随着交易人数增加而下降。这里X是一个数字，但取决于问题，它可能是一个随机的生命轨迹，一个随机的网络结构，或一个随机的宇宙几何形状。一世（X）= 0对应于典型案例，其概率不是微小的案例 - 在这种情况下对应于幸运快速折叠的结果。更大的值一世（X）对应于呈指数级别更不可能X。

指数降低的概率和指数增加的财富之间的权衡决定了平均值。的一些X是非常大的，即使相应的概率很小。优化这一权衡证实了naïve的直觉，即交易练习的平均结果是100万美元，尽管我们可以相当确信，任何一个交易员将失去几乎所有的东西。但是，如果有100万名交易员，他们都用100万美元的资本进行100万笔交易，那么平均结果将确实是100万美元。这个平均数是由一两个交易者决定的，他们最终拥有几百个十亿美元。大多数金钱 - 数百亿美元 - 将在少数随机人的账户中结束，而绝大多数几乎都会失败。

出于前方（甚至）的可能性小于100英寸。

电话交换

通信网络的核心问题是确定它们是多载变过的可能性。连接到电话交换机或因特网网络的数据缓冲器可以具有足够的容量，该容量足以实现平均负载级别，但不足以处理不寻常的同时用户。

贝尔实验室数学家Alan Weiss和Adam Shwartz在1995年概述了大偏差理论在通信网络中的应用。一般理论告诉我们，罕见事件的可能性往往与正在考虑的系统的规模呈指数级呈指数级。符号，概率变化为E.^-N1（X）,在那里N测量尺寸，X是一个特别的“途径”到罕见的事件，和一世是速率函数，给出该路径的相对绝佳。罕见的事件倾向于以可预测的方式发生 - 最小化速率函数 - 并以长时间间隔分隔的速率函数的那个​​。

在任何给定的问题中，挑战都是识别(并成功解释)速率函数。速率函数给出了所有流序列的相对可能性，从中可以找到具有最低速率函数(即最高概率)的溢出产生组合。这些组合决定了溢出的频率，因此也决定了溢出的性质:有多少源是活动的，哪些类型的源，以及溢出可能以多快的速度被解决。

罕见的事件倾向于以可预测的方式发生，并以长时间间隔分开的簇。

作为一个简单的例子，考虑一个电话网络，其中每个大量潜在用户 - 让我们说，在随机时间100万 - 连接，因此平均地连接了大约1％的时间。（我们假设他们互相独立地拨打电话，在一天中的任何时间都有平等的机会。）网络需要10,000条通信线路以满足平均需求。该公司使用大偏差计算，如果它们使10,500行可用，则网络每年将重载大约2分钟。

现在假设此外，网络开始由半百万百万视频游戏玩家使用，他们连接了大约1％的时间，但它们需要一个巨大的带宽，每个都需要占用五条通信线路。新用户平均要求10,000条线路，因此公司决定将其容量翻番，达到21,000。但结果是，每周几分钟重叠网络。分析速率函数告诉我们，视频游戏玩家 - 平均使用与其他人相同的容量 - 将始终发现在过载时使用大约8％的行，额外的250行将恢复网络的平稳运作。如果我们在过载前的秒内绘制网络负载，我们将看到它几乎总是遵循某个模式，在急剧崩溃之前逐渐弯曲，并且该曲线也可以计算为最小化的曲线速率函数。

在现代分散式分组交换网络中，速率函数可以帮助检测僵尸网络，即犯罪黑客用来发送垃圾邮件和攻击其他系统的受病毒感染的计算机网络。其想法是将僵尸网络的主人识别为一台与异常多的其他计算机通信的计算机，然后通过在与之通信的计算机之间发现异常的关联模式来确认身份。为了做到这一点，波士顿大学(Boston University)的研究人员需要使用一个速率函数来描述，在所有可能的方式中，一组不相关的计算机可能碰巧与同一个远程服务器通信，它们之间的通信模式最有可能是什么。¹

休眠种子

延迟是生物发育的延迟，通常在早期阶段。例如，许多植物种类产生了不立即发芽的种子，但延长休眠，形成称为持久的种子库。鉴于生存的斗争，如在战争中，通常会打开谁可以“最先到达最多的，”随机休眠是一点生态神秘。

为了澄清这个问题，我和斯坦福大学生物学家什里帕德·图尔贾普尔卡(Shripad Tuljapurkar)在一篇论文中提出了一个非常简单的模型:一个物种的生命周期为两年，第一年用来从种子生长到成年，第二年用来产生种子。²我们认为这个问题：如果一年的种子仍然休眠，那么对增长率的影响将是什么？

在每年的生长，生存和种子生产的情况下，答案是您所期望的：延迟个体增长减慢人口增长。但是，当环境条件变化时，事情看起来不同。然后，即使是少量的延迟也会产生重大提高人口增长。

如果有1%的种子等待一年，那么我们可以预计，典型的谱系轨迹将每100年延迟1次，当它们成熟时，将经历相当典型的环境条件。但也会有一些极其罕见的轨迹，即连续几代的种子会更频繁地延迟，而且恰好发生在最糟糕的年份，那时生长的幼苗几乎肯定会死亡，或者成年后不会结出种子。这些轨迹是很大的偏差——指数级的罕见——但随着时间的推移，它们会产生指数级的更多后代。人口增长率最终将由这些不太可能的轨迹决定。换句话说，如果我们回头看一个活着的人的轨迹，那看起来就像是一连串的幸运事故。

相同的数学适用于迁移，支持栖息地保护的重要原则：物种将受益于在两年同样优秀的领土之间徘徊的能力，其中环境条件在年至年度之间随机变化。每个人都在其家庭历史上看，将看到祖先碰巧逃离一个网站，纯粹是偶然的，就在灾难发生之前，或者在食物特别丰富的时候抵达其他网站。这是这种溴化物的一个特殊情况，进化溴：绝大多数生物都在没有复制的情况下死亡，但你可以追溯你的祖先，而不是遇到一个人。幸运的你！

百岁脑

一世f you are past a certain age—an age that is younger than most people think, since the probability you’ll survive your next year of life peaks at age 12—your general fitness and likelihood to survive another year is trending downward day by day, even if you may sometimes improve over longer or shorter periods. Theoretical demographers have considered models of aging where an individual’s “vitality” is a random quantity that progresses by small steps, more likely to go down than up, with death more likely the lower the vitality sinks.

不出所料，当个人遵循这种模式时，人口的平均活力随着年龄的职能而下降......最多。在高级年龄段，我们只有一小部分人口仍然活着，而且这些是特殊的人。也许他们开始出色，遗传彩票获奖者。也许他们只是通过机会敲击发生在相对积极的方向上的生命之中。

这表明死亡率随着成年年龄而来的年龄增加，然后在极端老年的水平上升。

然而，该模型预测，幸存者的活力会逐渐停止衰退。也就是说，每个个体都在持续衰退，但那些衰退的人会被死神砍掉。生存者的整体生命力在个体下降的轨迹和通过死亡淘汰生命力分布的低端之间形成一种平衡，称为准平稳分布。

在大偏差理论方面表达，存在速率函数I（x） - X现在是整个寿命的生命力的记录 - 对于保持接近平均值的轨迹为零。那些明显地从平均水平偏离的人具有阳性率函数，这意味着它们不太可能是指数级的。在一个典型的模型中，我们发现，在所有的生活课程中，持续非常长的，最有可能的是那些纯粹偶然的人，他们的活力非常高，而不是那些遵循通常的向下轨迹的生命力，而且发生了不会死亡。

这表明死亡率 - 在明年死亡的概率在一起的年龄的个体随着成年年龄的增长，然后在极端老年的阶段。这种模式称为死亡率高原，在果实和蛔虫等生物中显而易见，当在相同的实验室条件下观察到大量的果实 - 最常见的实验室果实中的死亡率水平，果蝇黑胶基，当他们只有4周龄时。^3.

在增加人口和改善健康状况之前，人类死亡率平台并没有变得明显，允许大量的个人达到100岁以上。一般来说，在30年代中期和90年代中期，人类死亡率率大约每8年增加一次。如果我们查看1900年出生的美国人队列，他们90岁的死亡率约为0.16，这意味着约16％的人在那年内死亡。这比98岁的0.35多倍，但随后再也没有加倍。队列的最高记录的死亡率为0.62岁。数据在那里相当薄，但对来自世界各地收集的超中心（110岁以上）死亡率数据的仔细分析已经表现出相当令人信服地表明，在当前条件下死亡率水平在0.4和0.7之间的某个地方。^4.

David Steinsaltz是牛津大学统计委员会的副教授。他博客普通的软骨。

参考

1.王，J.＆Paschalidis，即，基于异常和社区检测的僵尸网络检测。网络系统控制的IEEE交易（2016）。从DOI检索：10.1109 / TCNS.2016.2532804。

2. Steinsaltz，D.＆Tuljapurkar，S.随机增长率为罕见的迁移或延期的生命历史。arxiv：1505.00116（2015）。

3. Vaupel，J.W.，等等。长寿的生物术轨迹。科学280.，855-860（1998）。

4. Vaupel，J.W.＆robine，J.M.低死亡率国家的超中心的出现。北美精算杂志6.，54-63（2002）。

铅图像拼贴学分：scitoys.com