科学家的麻烦

S.有时，科学的作用似乎令人惊讶。2005年，一篇题为《为什么大多数发表的研究结果都是假的》的论文震惊了医学界。¹作者是斯坦福大学的医学教授约翰·约阿尼迪斯，它实际上并没有表明任何特定的结果是错误的。相反，它表明，报告的阳性结果的统计数据与人们应该保持的频率不一致预料找到他们。正如Ioannidis最近得出的结论，“许多发表的研究结果是错误的或夸大的，估计85%的研究资源被浪费了。”²

很可能有些研究人员有意识地挑选数据来发表他们的研究成果。其中一些问题肯定与期刊出版政策有关。但错误发现的问题往往始于研究人员无意中愚弄自己：他们成为认知偏见的牺牲品，这是一种常见的思维模式，诱使我们得出错误但方便或有吸引力的结论。德国波恩马克斯普朗克集体物品研究所的行为经济学家苏珊费德勒说：“看到心理学和其他实证科学的再现率，我们可以有把握地说，有些东西没有按它应该的方式运行。”。“认知偏见可能是原因之一。”

弗吉尼亚大学的心理学家布莱恩·诺塞克说，科学中最常见和最有问题的偏见是“动机推理”：我们解释观察以适应特定的想法。心理学家已经证明，“我们的大部分推理实际上是合理化的，”他说。换句话说，我们已经决定做什么或思考什么，而我们对推理的“解释”实际上是我们做我们想做或相信的事情的理由。当然，科学比日常思维更客观、更具怀疑性，但它到底有多重要呢？

我意识到人类的偏见，但是当我第一次“学到”他们也适用于科学家时，我有点惊讶，即使它是如此明显。

虽然科学家卡尔波普尔的科学家的伪造模型，科学家看着科学家寻求测试和伪造她的理论 - 问“我怎么错？” - 鼻子说科学家通常问“我怎么样？“（或同样，问“如何你“错了吗？”）。事实上，当出现事实表明我们可能根本不对时，我们倾向于将其视为无关紧要的，如果不是真的错的话。20世纪80年代末，由电化学家马丁·弗莱斯曼（Martin Fleischmann）和斯坦利·庞斯（Stanley Pons）发起的如今臭名昭著的“冷聚变”（cold fusion）事件充满了这种特别的拒绝。例如，当有人向弗莱斯曼和庞斯指出，他们声称的聚变反应产生的伽马射线的能谱峰值位于错误的能量时，他们只是简单地移动了它，咕哝着一些关于校准的模棱两可的东西。

统计数字似乎通过数字上的强势来缓解偏见，但它们同样令人担忧。荷兰蒂尔堡大学的克里斯·哈特格林克研究统计数据收集中“人为因素”的影响。他指出，研究人员经常将虚假确定性归因于偶然统计。“研究人员和一般人一样，不善于思考概率，”他说。虽然有些结果肯定是假阴性，也就是说，结果似乎不正确地排除了某些可能性，但哈特格林克说，他从未读过一篇论文对其研究结果得出如此多的结论。他最近的研究表明，多达三分之二的心理学论文报告了不重要的结果，可能忽略了错误的否定。^3.

鉴于科学已经揭示了令人眼花缭乱的各种认知偏差，相对忽视它们在科学本身的后果是很奇怪的。“我意识到人类普遍存在偏见，”哈特林克说，“但当我第一次‘了解到’科学家也存在偏见时，我有些惊讶，尽管这是显而易见的。”

一种对这种情况的普遍反应是认为，即使个别科学家可能会自欺欺人，其他人也会毫不犹豫地批评他们的想法或结果，因此这一切都是一纸空文：科学作为一种公共活动是自我修正的。有时这是真的，但它不一定像我们可能相信的那样迅速或顺利地发生。

诺塞克认为，同行评审有时可能会积极地阻碍对科学主张的明确和迅速的测试。他指出，2011年，意大利的一个物理学家团队报告的中微子证据这种明显比光速快的运动(违反了爱因斯坦的狭义相对论)，^4.审查和驳斥^{5, 6}多亏了高能物理学家通过开放存取存储库分发论文预印本的高效系统，这一速度非常快。如果该测试依赖于通常的同行评审渠道，可能需要数年时间。

同样在研究人员建议的时候科学2010年，砷可能替代某些微生物DNA中的磷——这一说法可能改写了生命的基本化学原理。一位进行后续研究试图复制这一发现的研究人员认为，在开源博客上记录她正在进行的研究结果很重要。这与最初的研究团队形成了对比，他们被批评没有报告任何后续证据来支持他们有争议的主张。^7.

同行评议似乎是一种更容易出错的工具，尤其是在医学和心理学等领域。可复制性危机医学记者伊万·奥兰斯基（Ivan Oransky）和《科学》杂志编辑亚当·马库斯（Adam Marcus）负责运行“服务收回观察”（service Retraction Watch），他们这样说：“当科学按照设计进行工作时，随后的发现会增强、改变或完全破坏早期的研究……问题是，在科学领域，或者更准确地说，科学出版这一过程很少按照指示进行……今天在科学期刊上发表的很多（如果不是大部分）内容，如果没有其他内容的话，也只会在一定程度上起作用她的实验室再次尝试了这个实验，而且，很可能，甚至不是那样。”^8.

科学文献被歪曲的原因之一是期刊更可能发表积极的结果而不是消极的结果：说某件事是真比说它是错容易。期刊评论员可能倾向于拒绝负面结果，认为这太无聊了，而研究人员目前从这些发现中几乎得不到资助者或部门的信任或地位。奥兰斯基和马库斯写道：“如果你做了20个实验，其中一个可能会有一个可公布的结果。”。“但仅仅公布结果并不意味着你的发现是有效的。事实恰恰相反。”^9.

“和许多研究生一样，当我采用研究方法时，我对科学如何运作的理想主义破灭了。”

奥兰斯基认为，尽管科学中的所有激励都强化了确认偏见，但出版的迫切性是最有问题的。“为了获得任期、资助和认可，科学家需要经常在主要期刊上发表文章，”他说。“这鼓励了积极的和‘突破性’的发现，因为后者是获得引用和影响因素。因此，科学家们自欺欺人地在他们的实验发现中看到完美的突破性结果也就不足为奇了。”

Nosek对此表示同意，他说，最严重的扭曲性影响之一是授予荣誉、任期和资金的奖励制度。“为了推进我的职业生涯，我需要尽可能多地在知名度最高的出版物上发表文章。这意味着我必须发表更有可能发表的文章。”他说，这些文章都是报告积极结果（“我发现了…”，而不是“我反驳了…”），原始结果（从未发表过）“我们确认了先前的发现…”），并清理了结果（“我们证明了…”，而不是“不清楚如何解释这些结果”）。但“实验室中发生的大多数事情看起来不像那样”，Nosek说，而是糊状的。“我如何从糊状的结果中获得美丽的结果？”他问道。“我可以有耐心，或者运气好，或者我可以采取最简单的方法，经常无意识地决定我选择哪些数据以及如何分析这些数据，从而得出一个干净的故事。但在这种情况下，我的推理肯定会有偏见。”

数据不仅可以差和错误的想法生存，而且可以通过动力推理和职业压力来抑制好的想法。T.he suggestions by geneticist Barbara McClintock in the 1940s and ’50s that some DNA sequences can “jump” around chromosomes, and by biochemist Stanley Prusiner in the 1980s that proteins called prions can fold up into entirely the wrong shape and that the misfolding can be transmitted from one protein to another, went so much against prevailing orthodoxy that both researchers were derided mercilessly—until they were proved right and won Nobel prizes. Skepticism about bold claims is always warranted, but looking back we can see that sometimes it comes more from an inability to escape the biases of the prevailing picture than from genuine doubts about the quality of the evidence. The examples of McClintock and Prusiner illustrate that science does self-correct when the weight of the evidence demands it, says Nosek, but “we don’t know about the examples in which a similar insight was made but was dismissed outright and never pursued.”

科学家们对此有所了解，可以肯定。许多同情哲学家托马斯库恩的理论认为，科学经历了突​​然的范式转变，其中整个领域的普遍智慧受到破坏，而完全新的图片出现。在这种转变之间，我们只看到了“正常科学”，它适合一般的共识 - 直到异常的积累会产生足够的压力来通过墙壁进入一个新的范式。经典榜样是20世纪初的量子物理的出现;在化学的18世纪的普利顿概念 - 一个假设的“燃烧原则”，被拉维兹的氧理论翻倒 - 也适合模型。归因于Max Planck的着名报价表明了另一种方法，通过这种方式，这些科学的先注被追逐：“科学一次推进一个葬礼。”新的想法只有在老卫兵死亡时休息。

T.作为一名心理学研究生，偏见在科学中的作用变得显而易见。“和许多研究生一样，当我采用研究方法时，我关于科学如何运作的理想主义被打破了”，他说。“在这门课上，我们读了很多旧文章，甚至是20世纪50年代到70年代的文章，这些文章涉及发表偏见、低效率的研究设计、缺乏复制、在发表的文章中对方法论的报道不足、缺乏对原始数据的访问以及对无效结果的偏见。”

从那以后，诺塞克一直致力于使科学工作变得更好。¹⁰他相信，通过将这些偏见公之于众，科学的进程和进步将会变得更加顺畅——这意味着研究方法、假设和解释将更加透明。“解决这些问题并不容易，因为它们是文化上的挑战——没有一个人能改变一种文化，”他说。“所以我从我能控制的问题开始:我的研究设计的力量。”

令人惊讶的是，Nosek认为，解决科学认知偏差最有效的方法之一可能来自于药理学，而这个学科最近因其容易出错和自欺欺人的方式而受到了最严厉的批评。正是因为这些问题在制药行业如此明显，在诺塞克看来，在处理这些问题方面，制药行业远远领先于其他科学领域。例如，众所周知，制药公司及其合作者都倾向于报告试验的积极结果，淡化消极结果，因此美国现在的法律规定，所有临床试验在开始前都必须登记。这迫使研究人员无论他们说什么都要报告结果。

诺塞克为研究制定了一个类似的预注册计划，称为开放科学框架（OSF）。他已经计划了很多年，但当前软件开发人员杰夫·斯皮斯在2009-2010年加入他的实验室并将其作为一个论文项目时，这项计划真正启动了。诺斯克说：“很多人都参与进来，很快它就变成了一件更大的事情。”。“我们为OSF建立了一个网站，一个社区和资助者聚集在它周围。”Nosek和间谍共同创建了这个网站开放科学中心该机构现在负责管理OSF，并能够免费提供服务。

Nosek说，这个想法是研究人员“提前写下他们的研究目的和他们认为会发生什么。”然后当他们做实验时，他们同意必须严格按照原始计划的范围分析结果。这听起来很简单，就像我们教孩子们如何做科学一样。确实如此，但很少发生这种情况。相反，正如费德勒所证明的那样，这种分析是建立在各种未陈述的、通常是无意识的假设基础上的，这些假设是关于什么会被看到或不会被看到的。Nosek说，使用OSF的研究人员经常惊讶地发现，当他们来看他们的结果时，这个项目已经偏离了他们最初提出的目标。

哈特林克说，通常会出现意料之外的结果。“如果问任何一个公众，这样做是否可以，他们会说不行。”

Fiedler已经使用过该服务，并说它不仅使研究诚实地诚实，但它使它更顺利地运行。“在OSF的预先登记迫使我通过预期的所有细节思考，并在我甚至开始收集数据之前已经完成了项目以及一些写作，”她说。“拥有这种意识帮助我分开我信任的结果，我相信哪些结果。”而不仅仅是她：使整个过程透明“给出所有其他研究人员如果这个结果值得他们有价值的研究时间，就会判断的机会。”

同时也是OSF用户的Hartgerink说，说明你的目标也是一种检查你是否知道它们是什么的好方法。“一旦我们决定这么做，我们注意到解释这些假设本身就很困难”——这表明它们实际上还不够清楚。“如果你想测试假设，事先注册在技术上是必须的，”他总结道。费德勒说，在过去的一年里，她和她的所有博士生都使用了OSF计划。“我通过这样做学到了很多东西，我只能向我们这一行的每一个人推荐它，”她说。

哈特格林克说，OSF和一切照旧之间的区别是相当大的。因为大多数研究人员都是在完成研究后才撰写手稿的，所以之前没有明确地写下假设。“一旦结果被知道，这将导致对假设更有利的表述。”爱荷华大学的心理学家厄内斯特O'Boyle和他的同事们称这种偏见使结果的回顾呈现更加美丽，“蛹效应”，Hartgerink说，一个结果是，通常会出现意想不到的结果。“如果问公众这样做是否合适，他们会说不合适。然而，长期以来，这一直是科学界的普遍做法。”

通常，假设和目标的这种转变只是发生了，没有意图，甚至没有认识到。费德勒说：“在设计一个实验、收集数据、分析数据并向我们的科学同事展示结果的过程中，我们看待问题和相应结果的方式不断发展。”。“在这一过程中，我们可能会忘记最初失败的测试，并在回答基于相同数据的不同问题时展示我们的新见解。”她说，这种科学方法有很多价值：发现不可预见的联系很重要。但这不仅改变了研究的目标，还可能导致研究人员“过于相信可能存在的虚假效应”研究人员要求将球门柱留在原地。

但是，如果你甚至在做实验之前就选择将自己限制在一个狭窄的目标范围内，你不就关闭了你无法预见的潜在肥沃的道路吗？诺斯克说，也许吧，但“从数据中学习”并不是得出可靠结论的途径。“目前我们把探索性研究和验证性研究混为一谈，”他说。“一个经常被遗忘的基本事实是，你无法提出假设和用相同的数据测试它们。“如果您发现一个有趣的新铅，您应该单独遵循，而不是以某种方式告诉自己，这就是实验所做的一切。

菲德勒对预先注册会扼杀创造力和自由的指控提出异议。“这不是每个人都必须做的事情，”她说，在没有明确的假设检验议程的情况下收集数据的探索性研究仍然占有重要地位。但我们需要考虑到这些区别。

哈特格林克认为，主要的障碍是教育：研究人员根本不被建议这样做。但最好是这样。“如果年轻的研究人员现在不开始应用这些技术，”他说，“他们可能会在10年后成为后座议员，因为以可复制、透明和开放的方式进行研究已成为常态。”

最终，诺塞克将目光投向了一个“科学乌托邦”，在这个乌托邦中，科学成为一种更有效的知识积累手段。然而，没有人声称OSF将是让我们到达那里的灵丹妙药。正如Oransky所说:“一个更大的问题是让科学家停止欺骗自己。这需要消除动机推理和确认偏差，我还没有看到任何好的解决方案。”因此，与OSF一样，Nosek认为必要的重组包括开放获取的出版，以及开放和持续的同行评审。也许，我们无法摆脱偏见，但我们可以软化它们的诱惑。正如Nosek和他的同事，以色列本-古里安大学的心理学家Yoav Bar-Anan所说，“改变的关键障碍不是技术或财务上的;他们是社会。虽然科学家们保持现状，但他们也有能力改变现状。”

Philip Ball是隐形:无形的危险诱惑还有许多关于科学和艺术的书。

工具书类

1.为什么大多数发表的研究结果都是假的。《公共科学图书馆·医学》杂志上2，e124（2005年）。

2. ioannidis，J.P.A.如何制作更多已发布的研究。《公共科学图书馆·医学》杂志上11，e1001747（2014年）。

3.Hartgerink，C.H.J.，van Assen，M.A.L.M.，和Wicherts，J.《太好了，不可能是假的：重新审视无意义的结果》。开放科学框架https://osf.io.．(更新日期:2015年4月7日)检索自https://osf.io/qpfnw/

4. Antonello，M.，等在CNGS光束上测量与ICARUS检测器的中微子速度。预印亚克因素：1203.3433（2012）。

5.Brumfiel，G.中微子不超过光速。自然新闻（2012）.从内政部检索：10.1038/nature.2012.10249

6.物理学家们再一次揭穿了超光速中微子的秘密。news.sciencemag.org（2012）。

海登，E.C.公开研究质疑砷的生命。自然新闻(2011). 从内政部检索：10.1038/news.2011.469

8.与滚石乐队不同：科学在自我修正方面真的比新闻更好吗？http://theconversation.com(2015).

9.奥兰斯基，I.与《滚石》不同：科学在自我修正方面真的比新闻更好吗？www.iflscience.com(2015).

10Ioannidis，J.P.A.，Munafo，M.R.，Fusar Poli，P.，Nosek，B.A.，和David，S.P.认知科学中的出版物和其他报告偏差：检测、流行和预防。认知科学的发展趋势18, 235-241 (2014).