我2000年4月,期刊麻醉与镇痛发表了彼得·克朗克和两位同事写给编辑的一封信,信中充满了讽刺。这三位学术麻醉师瞄准了一位名叫藤井吉中(Yoshitaka Fujii)的日本同事发表的一篇文章。他们写道,藤井吉中关于一种防止术后恶心和呕吐的药物的数据“令人难以置信的好”
用科学的语言来说,称研究结果“令人难以置信的好”并不是一种恭维——这等于指责研究人员傲慢,甚至是捏造研究结果。但是《华尔街日报》没有注意到这一警告,麻醉与镇痛,用平底船。它向编辑发表了这封信,并附上了藤井的解释,其中包括“需要多少证据才能提供足够的证据?”换句话说,“不相信我?很难。”麻醉与镇痛接着又发表了11篇藤井的论文。这封信的合著者之一,当时在德国威兹堡大学的Christian Apfel,前往美国食品和药物管理局提醒他们他和他的同事提出的问题。他再也没有回音。
藤井裕久或许意识到自己幸运地躲过了更多的审查,但在2000年代中期,他基本上停止了在麻醉文献中的出版。相反,他专注于眼科和耳鼻喉科,在这两个领域,他差点失手就不太可能引起注意。到2011年,他总共发表了200多篇研究论文,这对他所在领域的人来说是一个非常健康的成果。同年12月,他在《华尔街日报》上发表了一篇论文麻醉杂志. 这将是他的最后一次。
在接下来的两年里,很明显,他的大部分研究都是伪造的——事实上,大部分研究都是伪造的。如今,他是单作者撤回论文最多的记录保持者,撤回的论文多达183篇,占1980年至2011年间全部撤回论文的大约7%。他的故事代表了学术出版业的戏剧性没落,但也代表了学术出版业新维度的到来:可以嗅出欺诈行为的统计工具,以及愿意使用这些工具的“警察”。
steve Yentis在成为该杂志主编时,就已经有了相当深厚的研究伦理背景麻醉2009年。他曾担任该学科的学术委员会主席,甚至还兼职回到学校攻读医学伦理学硕士学位。他还曾在出版伦理委员会(COPE)任职,该委员会是一个设在英国的国际组织,致力于提高学术出版的标准。
不过,他说,在他担任该杂志的首席执行官后这么快,他“并没有真正的迹象表明天花板将会倒塌”。就像麻醉与镇痛十年前,麻醉2010年发表了一篇关于藤井的研究文集的社论,其中有一组作者不相信藤井的研究结果,并呼吁该领域对文献进行审查,以剔除虚假结果。
Yentis详细的在后面的文章中,题为“谎言,该死的谎言,和统计,“自己editorial-which commissioned-prompted大量的信件,其中包括一位读者“谁抱怨这一事实的证据基础仍然扭曲了研究员的工作”,挑战麻醉期刊编辑要做些什么。这封信的作者是英国麻醉师约翰·卡莱尔(John Carlisle)。
在某种程度上,这个时机是偶然的。麻醉学领域还在遭受着不端行为的连击。第一个受害者是斯科特·鲁本(Scott Reuben),他是马萨诸塞州的一名疼痛专家,在临床试验中伪造数据,结果因犯罪被关进了联邦监狱。第二次是在不到一年之后,约阿希姆·博尔特(Joachim Boldt),一位多产的德国研究人员,被发现篡改研究成果,并有其他违反伦理的行为,导致近90篇论文被撤回。
如果好得令人难以置信,数学会告诉你
可能是。
麻醉已经发表了六篇博尔特的文章,燕蒂斯感到有点受惩罚了。所以当他读卡莱尔的信时,他看到了一个机会。他实际上告诉卡莱尔把钱放在他的键盘所在的地方:“我反驳了记者,让他分析藤井的工作,”延蒂斯说。卡莱尔承认,当时他在统计学方面并没有特别的专长,他也不是一个特别有名的麻醉师,他的话在同事中也没有分量。但他的结论很简单,也不容忽视——用一套真实的实验来得出藤井的数据是极不可能的。
临床医学的顶级证据来自随机对照试验,这些试验基本上是统计鸡蛋分类,将药物或其他治疗的合法效果与机会区分开来。卡莱尔解释说:“通常分析的测量结果是一组接受治疗,另一组接受安慰剂后的测量结果。”。“我做的两件不寻常的事情是分析各组在接受治疗或安慰剂(例如体重)之前存在的变量组之间的差异,并计算差异小于观察到的差异,而不是大于观察到的差异的概率。”
卡莱尔将1991年至2011年间藤井裕久168项“金标准”临床试验的结果(平均每年8篇论文)与其他研究者此前的报告进行了比较,并对偶然发生的情况进行了预测。他研究了从研究开始时患者身高和血压到据报道藤井正在试验的药物副作用发生率的各种因素。
卡莱尔利用这些技术,在他发表于《纽约时报》的一篇论文中总结道麻醉2012年,Fujii的一些发现被实验得出的几率大约为10-33年,一个非常小的数字。正如卡莱尔干巴巴地解释的那样,有一些“非自然模式”可以“支持这样一个结论,即这些数据与随机抽样的预期数据有很大程度的差异,它们不应该成为证据基础。”换句话说,如果它看起来太好而不可能是真的,数学会告诉你它可能是真的。
卡莱尔的结论与2000年麻醉师喊出藤井的结论很相似——只是这一次,人们注意到了。卡莱尔的发现发表后不久,日本的一项调查得出结论,藤井发表的212篇论文中,只有3篇含有明显可靠的数据。对另外38人来说,欺诈的证据并没有确凿的证据。最终有171篇论文被认为是完全捏造的。正如日本的报告所总结的那样:“这就像有人坐在书桌前,就一个研究想法写了一本小说。”
C阿利勒的统计分析技术并不局限于麻醉,甚至不局限于关于人的科学。“我使用的方法可以应用于任何东西,植物、动物或矿物,”他说。“它只要求将人、植物或物体随机分配到不同的群体。”对于其他学术期刊来说,实现它也“相当简单”。
至少有一位期刊编辑同意。斯坦福大学麻醉学专家、该杂志现任主编史蒂文·沙弗(Steven Shafer)说:“这项研究仍在发展中,但约翰·卡莱尔(John Carlisle)的基本方法正被推广为检测研究欺诈的工具。”麻醉与镇痛.Shafer、Yentis和其他人都参与了这项工作,Carlisle计划很快发布一份修订后的方法论。谢弗说,其中一个目标是自动化这个过程。(免责声明:谢弗是科学诚信中心(Center for Scientific Integrity)的董事会成员,该中心是“撤稿观察”(Retraction Watch)的总部,也是本文作者共同创立的机构。)
谢弗说,他亲自使用卡莱尔的方法来识别一篇有关插入呼吸管的论文,这篇论文于2012年提交给他的期刊,是欺骗性的。他拒绝了这篇文章,然后得知它已被提交给另一家杂志。“同样的论文,不同的数据!””沙佛说。“作者们发明了新的数字,因为我在退稿信中暗示这是一篇造假论文。”谢弗和他的编辑同事给作者的系主任发了一封邮件,系主任回复说:“这些人不会再做研究了。”
这种技术也不仅仅局限于抓骗子。卡莱尔说,像考克伦协作组织(Cochrane collaboration)这样的组织可能会利用它来检查任何汇总结果的可靠性。考克伦协作组织是一家对医学文献进行审查和荟分析的英国机构。这些荟萃分析汇集了关于某种特定干预措施(如药物或手术)的众多研究结果,被认为是提供治疗指南的强有力的循证方法。然而,如果它们所基于的研究中的数据是有缺陷的,那么结果就是“垃圾进,垃圾出”,使它们变得无用。
但这是一种需要期刊编辑参与的方法,而他们中的许多人并非如此。有些人找到了不修改文献的理由。就作者而言,他们已经开始声称自己是“政治迫害”的受害者。在PubPeer.com这样的网站上,往往会出现一片批评声,允许对已发表的论文进行匿名评论,然后进行新闻报道,以产生任何运动。
例如,2009年布鲁斯·艾姆斯(Bruce ames)和他的同事们进行了一项类似于卡莱尔的分析,艾姆斯因与他同名的致癌物质测试而出名。目标是由Palaninathan Varalakshmi领导的团队撰写的三篇论文。与卡莱尔后来的研究结果形成鲜明对比的是,这三位研究人员进行了回击,称艾姆斯的方法“不公平”,是因果关系的混合。Varalakshmi的编辑们站在他一边。直到今天,没有一家被指控的研究人员发表了他们的研究成果的期刊对这些论文做过任何处理。
可悲的是,这是一个学术欺诈调查的典型结论。追查欺诈者的困难部分是学术出版本身过程的结果。它“一直依赖于人,而不是系统;同行评审过程有其优点和缺点,但发现欺诈的能力并不是它的真正优势之一,”燕天表示。
发表是建立在信任的基础上的,同行评议者往往急于查看原始数据,即使这些数据是可用的。自然例如,据执行主编Veronique Kiermer说,他要求作者"证明统计检验的适当性,特别是说明数据是否符合检验的假设"。她指出,编辑们“在评估论文时要考虑这一陈述,但不要系统地检查所有潜在数据集的分布。”同样,同行审查员也不需要检查数据集统计。
当自然去年,在经历了一次痛苦的干细胞论文撤回,导致一名关键研究人员自杀后,他们坚持认为,“我们和裁判员不可能发现致命破坏论文的问题。”该杂志认为,这需要发表后的同行评议和机构调查。太用力会造成真正的问题,自然在另一篇社论中写道。期刊“可能会发现自己因拟议的撤销而面临诉讼的威胁,更不用说声明中提及不当行为的撤销了。”
自然可能会满足于将繁重的警察工作交给机构,但延蒂斯已经吸取了教训。尽管他委托撰写了2010年社论,将藤井裕久作品中的危险信号吸引到了读者的注意,但他也几乎忽视了社论的信息。他最终的侦探卡莱尔(Carlisle)写了一封信激励他采取行动,结果他直到2012年才发表最终分析。“如果这样的指控现在出现在社论上,”他说,“我不会让它从我身边溜走。”
亚当·马库斯,《华尔街日报》总编辑胃肠病学和内窥镜新闻,和伊万·奥兰斯基,MedPage Today的全球编辑总监收缩表由John D.和凯瑟琳·T·麦克阿瑟基金会慷慨支持。








