科学网—如何克服阴性实验结果发表难题
精选
已有 3778 次阅读
2024-7-28 14:41
| 个人分类: 自然科学 | 系统分类: 海外观察
阴性 实验结果你还愿意发表吗?
阴性结果也是结果,但往往被忽视和放弃,有研究人员的因素,也有出版系统的问题。但阴性结果可能具有价值,甚至具有更大的价值,不出版显然不利于科学的发展和进步。有学者设法克服这个问题,具体措施是进行研究注册。这类似人体试验的临床注册,注册意味着在研究结果出现前就公开了研究目的,即使研究结果是阴性的,也能用注册信息说明研究的意义和价值,减少杂志和审稿人另眼看待,解决出版的负面影响。尽管如此,问题仍然不能完全解决。阴性结果发表难题仍然存在。
进化生物学家娜塔莉 ·皮拉库塔本以为这是一个容易验证的理论:生活在冰岛地热温泉中的鱼类比生活在附近较冷湖泊中的同种鱼类更喜欢温暖的水。然而,当她两年的研究结束时,她发现的结果却是不确定的——如果可以选择的话,这两种鱼类都偏好相同的、更凉爽的水域。她的博士后导师敦促她将这一发现搁置,转向其他研究:“这是一个失败的实验,”她被告知。“你一定做错了什么。”
这些话刺痛了她,因为发表文章是学术界的重要货币,特别是对于一名职业生涯早期的研究者来说,她知道要为她的研究成果找到一个归宿将面临艰难的挑战。此外,她感到迫切需要分享这一违反直觉的发现,这挑战了人们关于水生生物可能会对全球变暖做出更高温度偏好的假设。
在英国圣安德鲁斯大学工作的皮拉库塔是幸运者之一。经过六年向七家期刊提交她的研究成果后,她的研究最终在 2023年1月发表。但她的经历揭示了学术界经常抱怨的“文件柜问题”,即那些未能发现变量或组之间关系、或者与预设假设相反的无效或负面结果的研究,会被搁置一旁,而那些有阳性或显著发现的研究报告则受到青睐。例如,一项2022年对法国科学家的调查发现,75%的人愿意发表他们产生的无效结果,但只有12.5%的人能够这样做。随着时间的推移, 这种出版偏见扭曲了科学记录,而对显著结果的关注可能会鼓励研究人员选择性地报告数据或夸大其发现的统计重要性。 这也浪费了时间和金钱,因为研究人员可能会重复已经进行过但未发表的研究。一些证据表明,这个问题正在变得更糟,随着时间的推移,越来越少的负面结果得以公开。
资助者、出版商和研究人员并非坐视不管。许多期刊现在鼓励团队在进行实验之前提交计划和协议,以便期刊可以审查提案并承诺无论结果如何都发表它们。数百家期刊现在提供此类 “注册报告”,自2018年以来采用这种方法的期刊数量翻了一番。
专注于阳性结果并不是做科学的唯一方式,弗吉尼亚州夏洛茨维尔开放科学中心的执行董事布莱恩 ·诺塞克说。诺塞克和全球各地的一群研究人员一直在推动重写研究如何进行的方式,挑战成功的定义本身。这包括打击科学的恶劣方面——如剽窃等不端行为——但也呼吁遏制一些“较软”的违规行为,如选择性报告,目的是发表更多的负面发现。这些变化已开始在整个出版行业具体化,随着预印本服务器的增多和出版商采用新的手稿格式、推出专门针对无效结果的期刊以及呼吁特刊。
“我们当然可以做得更好,”诺塞克说。
隐藏的结果
研究人员几十年来一直注意到文件柜问题。但直到 2010年代初,当他们试图复制心理学和医学科学中几个基础性实验的发现时,发现无法做到,它引起的更大问题才变得清晰起来。科学家们开始研究这种“复制危机”的程度和出版偏见的问题。
他们的研究揭示了负面结果被埋没的频率有多高。在对超过 30万次科学会议演讲、科学家常试图将其转化为论文的非正式海报或谈话的分析中,不到40%被发表在同行评审期刊上,而且与 阳性 结果相比,负面或无效发现发表的可能性要小得多。
出版偏见的程度因学科和国家而异,但这个问题似乎随着时间的推移而恶化。从 1990年到2007年对4600篇论文的分析发现,这一时期内出版偏见增加了22%。
这种出版物的偏斜可能对现实世界产生影响。例如,在评估抗抑郁药的 74项注册临床试验中,近三分之一仍未发表;这些试验更有可能显示出负面而非正面结果。仅根据出版物来看,94%的试验看起来好像都返回了 阳性 结果,而一个药物批准小组判断 51%确实如此。
这种选择性报告造成了对药物功效的夸大认识,这一点被主要包含 阳性 结果的研究的元分析(已发表文献的调查)所加剧。
尽管在美国进行临床试验的研究人员根据法律必须报告他们的结果,无论结果如何;这可能涉及数十亿美元的利益,且试验参与者已经投入了他们的时间并期望结果被公布。诺塞克说,这些结果说明了 “攀登的难度有多大”。
增加偏见可能性的是,与 阳性 发现的研究相比,那些有负面或无效发现的研究往往受到更严格的审查,特别是如果 阳性 发现 “证实了我们认为是真实的某事”,加利福尼亚斯坦福大学医学研究严谨性和可重复性项目的创始人史蒂文·古德曼说。
印第安纳州南本德圣母大学的认知神经科学家杰西卡 ·佩恩表示,如果研究返回负面或无效结果,仍然存在一种观念认为科学家的研究设计一定存在某种缺陷。
实际上,根据对 480名经济学家的调查,即使样本量等特征保持不变,与大而显著的结果相比,无结果的研究被认为较不可发表、质量较低、重要性较小——这种现象被称为无结果惩罚。如果说有什么的话,古德曼说,具有大效应量的研究应该比无发现的研究受到更多的审查。
文化偏见
复制危机清楚地表明了一个事实:学术界的激励结构并不总是与研究的诚信和可重复性保持一致。荷兰乌得勒支大学的元科学家安妮 ·席尔说,这是导致如此少的负面研究被发表的一个重要原因。
学术不端行为和出版偏见的核心都是相同的 “发表或灭亡”文化,这一文化由学术机构、研究资助者、学术期刊和科学家自己延续,当研究人员在声望高的场合发表论文时就会获得奖励,席尔说。
但这些学术看门人有偏见,一些批评者说,他们认为资助者和顶级期刊常常渴望新奇和吸引眼球的发现。澳大利亚墨尔本大学的心理学家、《心理科学》杂志编辑西敏 ·瓦齐雷说,期刊编辑担心满是无结果的页面会吸引更少的读者。
这在研究人员和期刊之间创造了一个紧密的反馈循环。为了用看似新颖和值得注意的发现吸引期刊,一些科学家可能会在看到结果后改变他们的假设,或只发布部分数据,或进行统计技巧,诺塞克说。
阳性 的解决办法
为了鼓励更多研究人员报告无结果,期刊和资助者正在尝试几种方案。复制危机带来的最重大变化之一是预注册的增加(见 “注册上升”),其中研究人员必须在研究开始时在一个公共数据库中声明他们的假设和他们打算测量的结果(这已经是临床试验的常态)。
预注册模型鼓励研究人员忠实于他们研究的原始意图,但它并没有解决可能影响他们是否将发现提交给期刊的偏见,也没有解决期刊编辑和审稿人在决定发表什么时可能存在的偏见,诺塞克说。
相反,他和他的同事们一直在专注于推广和评估注册报告模型 ——类似于预注册报告,但初始计划由期刊发表,同时承诺进行同行评审并发表结果。
初步数据看起来很有希望:当谢尔和她的同事们比较了 71份注册报告与随机抽样的152份标准心理学手稿的结果时,他们发现44%的注册报告有 阳性 结果,相比之下, 96%的标准出版物有 阳性 结果(见 ‘发布意向’)。诺塞克和他的同事们发现,与在标准模型下发表的论文相比,评审员对心理学和神经科学的注册报告在研究严谨性和质量方面的评分更高。
当这种格式在 2012年推出时,只有少数期刊发表注册报告;现在,超过300家提供这种格式的期刊,包括PLoS ONE和Springer Nature出版的《自然》杂志(《自然》的新闻团队与其期刊团队编辑上是独立的)。自从2023年2月开始提供这种格式以来,《自然》还没有发表任何注册报告,但其姊妹期刊《自然人类行为》已经发表了。
研究人员说,尽管这种格式越来越受欢迎,但仍有一些需要解决的问题。今年早些时候,瑞士巴塞尔大学的睡眠研究员克里斯汀 ·布鲁姆在《自然人类行为》上发表了她的第一个注册报告,关于光线如何影响人类的昼夜节律。尽管她喜欢在数据收集前就获得对她的研究设计的反馈——“这让我感觉到我拥有了回答我所设定问题的最佳研究设计”——她发现令人沮丧的是,反馈过程可能持续数月,尽管研究人员有限制的时间来使用拨款。
诺塞克说,这些实际问题是重要的解决事项。他承认自己关于注册报告质量的论文本身并不是一个注册报告,因为拨款即将到期,团队没有时间经历漫长的审批过程并完成其分析。 “我们不能忽视实际操作性,但我们能做的是思考如何降低障碍,以便更多这样的情况可以得到处理,”他说。
提供注册报告的期刊在各学科中分布并不均匀;大多数在心理学领域,最近也在神经科学领域。很少有物理科学期刊提供这种格式 ——尽管无效结果,例如瑞士日内瓦附近的大型强子对撞机自希格斯玻色子以来未能发现新的亚原子粒子,一直是进展的重要部分。英国爱丁堡大学的转化医学研究员和元科学家艾米丽·塞纳说,临床前领域的学者很少有人愿意尝试这种格式,尤其是在研究人员开始实验之前已经有很多繁琐的程序。
瓦齐雷说,这种格式在研究人员中的普及速度很慢。 “我们没有收到很多注册报告的提交。”
塞纳和她的同事们一直在传播有关注册报告的信息,并帮助期刊编辑感到有能力审查提交的稿件。她说,一些资助者正在提供现金激励: 2022年,开放科学中心向愿意发表工作注册报告的意识研究人员提供了高达50,000美元的资金。
塞纳说,跟踪这些干预措施如何影响学术界的边缘群体将很重要。有色人种学者更有可能处于固定合同上,因此他们拥抱可能对整体科学更好但对个别科学家帮助不大的格式的空间更小。
开放科学中心计划进行试验,随机分配研究人员使用标准出版模式或注册报告,以评估由此产生的出版物的严格性、接受率和时间线。结果预计将在 2027年出现。
并非所有减少出版偏见的努力都取得了成果。诺塞克说,很少奏效的是设立明确目的为发表无效结果的期刊。他说,这些努力是出于好意,但通常不起作用,因为一个期刊可能会与无法在其他地方发表的研究联系在一起。 “它不能提供研究人员需要的那种回报,”他说。
佩恩是其中一个期刊《实验结果》的共同编辑,该期刊由剑桥大学出版社出版。尽管有剑桥的认可,该期刊在 2023年仅三年后就停刊了,她说。
发布负面结果的一种日益流行的自助途径是在预印本服务器上发布手稿。发布预印本可以为研究人员提供一个展示研究的机会,而无需承受期刊提交的压力。皮拉库塔说,这个选项对于早期职业研究人员尤其有帮助。然而,古德曼说,撰写结果需要时间,无论结果出现在哪里,而在预印本服务器上发布不太可能为研究人员提供足够的激励来证明所花费的时间是合理的。
无效结果的细微差别
倡导者承认,并非每一项返回无效结果的研究都值得发表。古德曼说,他鼓励研究人员发表那些 “具有信息量”的无效和负面发现,意味着它们来自于设计严谨的研究和分析,质疑之前的结果,并为探索打开新的领域。
例如,长期以来有一个观点认为子宫是无菌的 ——即子宫和胎儿没有微生物。但从2010年开始,一系列论文发现胎盘中有微生物污染,这使该假设受到质疑,并表明某些妊娠并发症可能与细菌有关。直到2019年,一项对537名女性胎盘样本的分析——迄今为止此类分析中数量最大的一次——严格地显示没有任何细菌信号。这项研究为调查携带少量微生物的组织微生态学设定了一个基准,这些组织因此可能导致假阳性结果,并表明细菌感染不是妊娠问题的常见原因。
布鲁姆说,即使数据不确定,从数据中提取一些有洞察力的东西也很重要。例如,她在 2022年发现,尽管人造光抑制了激素褪黑素,但这并没有导致睡眠质量的变化。她说,褪黑素不一定代表睡眠质量的信息可能有助于那项研究的发表。
古德曼预测,只要研究人员继续寻求在声望高的出版物上发表文章,出版偏见就不会消失。尽管如此,他对过去十年取得的进展感到惊讶:顶级期刊承诺接受严格的研究,不论结果如何,即使在五到十年前也是 “闻所未闻”的。
皮拉库塔现在领导一个实验室,可以为她的本科生和研究生树立榜样。但她也亲眼看到了对 阳性 发现渴望的根深蒂固。 “这让我感到担忧,这种渴望开始得如此之早,”她说。下一次她得到无效结果时,她说,她希望不会花七年时间才能发表。
转载本文请联系原作者获取授权,同时请注明本文来自孙学军科学网博客。 链接地址: https://blog.sciencenet.cn/blog-41174-1443655.html
上一篇: 人等宿主如何控制体内微生物组的机制 下一篇: 这些冥想实践开启对意识的新理解《科学美国人》