有没有想过科学的可重复性?事实证明你并不孤单!美国国家科学院(NAS)刚刚花了一年半的时间研究现状，并发布了一些重要的发现。NAS委员会发布报告本周，环保局局长安德鲁·惠勒、内政部长大卫·伯恩哈特和行政管理和预算局代理局长拉塞尔·沃特应该认真阅读科学中的可重复性和可复制性．专家组被指控回答问题关于可重复性和可复制性，由2017年规定美国创新与竞争力法案．对于联邦机构负责人来说，有两个关键的结论是非常重要的发行全面政策这包括在透明的幌子下有关这些科学概念的语言。
可重复性和可复制性很重要，但不是好的科学的全部
NAS委员会负责定义科学领域的可重复性和可复制性。再现性是指使用相同的输入数据、计算步骤、方法、代码和分析条件获得一致的结果。可复制性是在旨在回答同一科学问题的研究中获得一致的结果，每项研究都获得了自己的数据。虽然报告承认可重复和可复制的研究有助于产生可靠的知识，但自始至终也很清楚，这些标准可以是科学严谨研究的特征，但不一定是必要的。该委员会写道:“过分关注个别研究的可复制性是确保科学知识可靠性的低效方式。相反，回顾一个主题的累积证据，以评估整体效应大小和可泛化性，通常是对科学知识状态获得信心的更有用的方法。”一项研究可能无法被复制或复制的原因有很多，其中最重要的原因是保护隐私、商业秘密、知识产权和其他与基础数据相关的保密问题。在研究环境危害时也面临挑战。我们必须使用观察数据来研究空气和水污染，而重现人们暴露在污染物中的条件通常是不可能的，也不符合道德标准。
正如我的同事安德鲁·罗森伯格在最近的一篇博客:
也许我们都知道，在实验室里反复做一个实验可以让你对结果有信心，这就是“科学方法”。在小学就说得通了。但是，从这个意义上说，许多重要的科学信息甚至分析都不是“可重复的”。以有毒污染物对当地社区的影响为例。我们是否应该再次释放它，看看它是否真的有害?还是对自然灾害的研究?我们是否应该等待它再次发生以重现结果?环境数据和治理倡议说明了许多现实世界的例子那些既不可行也不符合伦理的科学研究
在环保署的提出的限制性科学规则EPA在去年4月发布的一份报告中称，该政策的部分原因是允许监管机构更好地确定关键发现是“有效和可信的”。它声称，衡量验证和可信度的基准是研究的可重复性和可复制性。但是，正如EPA未能理解的那样，NAS委员会正确地指出，“可重复性和可复制性本身并不是科学的最终目标，也不是科学家对新发现获得信心的唯一途径。”该报告解释说，政策决策应基于大量证据，而不是任何一项研究(可复制与否)，同样，一项研究不应被用来反驳大量研究支持的证据。此外，对大量证据进行评估的系统综述和荟萃分析是提高科学结果可信度的重要方法。EPA和其他机构应该灵活地使用自己的标准来判断科学信息规则的严谨性和有效性，而不应该依赖于可重复性和可复制性作为科学可信度的主要标准。
科学透明度和可重复性的挑战最好在研究界内部处理，而不是白宫或环保署
研究人员、期刊、资助者和学术机构可以并且正在改善透明度，报告给出了许多正在进行的努力的生动例子。解决科学透明度问题当然不是一个机构的工作。事实上，即使他们尝试了，也做不到。该报告的建议旨在科学机构致力于教育研究人员，并确保记录保存和透明度方面的最佳实践，这可能导致更可重复和可复制的研究。它并没有暗示作为这类科学的使用者的联邦机构应该参与决定作者必须有多透明。科学界需要主导大局。科学信息的最终用户无法应对整个科学界面临的挑战，特别是考虑到缺乏必要的基础设施和资源，以确保在机构规则制定中保护敏感数据的隐私。报告没有提出全面的透明度要求，从而限制政府使用最佳科学的能力，而是建议资助机构投资于开源工具的研发和对研究人员的相关培训，以便在科学过程的一开始就促进透明度，而不是将其用作排斥已经进行的重要公共卫生研究的机会。
没有可复制性危机，没有自满的时间
在报告发布的网络研讨会上，研究作者总结了他们的发现，说不存在可重复性危机，也不是对科学透明度问题沾沾自喜的时候。这是一个公平的评估情况，一个应该由环保署重新审查59万条公众意见它收到了限制性科学提案。我们绝对有办法利用技术来改善整个科学过程中的记录保存和透明度，这样研究人员就可以更好地建立在彼此的发现基础上，增进知识。NAS和其他机构的聪明人已经在研究这个问题了。该委员会的报告强调了由于学术机构、资助者和期刊的领导，这种情况正在发生的一些方式。政府可以在帮助资助基础设施方面发挥作用，这些基础设施将促进更开放和更容易获得的科学，并为研究人员提供遵守最佳实践的工具。EPA、DOI和OMB应该听取科学界的意见，并学习如何最好地完成这一任务。白宫或像EPA这样的联邦机构绝对没有角色来发布全面的规范性规则，限制科学用于制定法规的方式。