更新的限制科学规则为EPA法术再分析瘫痪

2019年11月12日|下午3:45
照片:mediaphotos / iStock
188betiosapp

环保署没有听取50多万条评论,也没有放弃一项真正有害的规定,而是继续推进其限制性科学提案《纽约时报》报告一份补充通知,以高清晰度暴露了原始提案的许多缺陷。

该规则草案由名誉扫地的前行政长官斯科特·普鲁伊特于2018年4月发布,规定除非科学研究的基本原始数据和模型(包括计算机代码)公开,否则不能有效地用于为机构的规则制定提供信息禁止该机构考虑现有的最佳科学

新增补充公告揭示了这个规则实际上是多么的浪费和不科学.根据通知,提供这些数据的原因是,EPA可以使用原始数据重新分析研究,以确认研究结果,并表明它们“能够被大量复制”。通过重新分析,该机构澄清说,他们的意思是采用原始数据和建模方法并重新计算结果——实际上是为了检查研究人员没有犯任何基本的数学错误。

上面引用的短语直接来自于2001年OMB指南旨在帮助机构调整衡量科学证据的最佳做法。更广泛的科学界以多种方式解决可重复性问题,环保署已经制定了自己的政策同行评审而且信息质量基于这些指导方针。EPA的新透明度规则将增加一个不可能的要求,即公众可以访问原始数据和模型编码,这显然超出了当前EPA政策和实践的规定,也超出了该机构的需求。可以说,该机构还没有发现目前的审查过程没有发现简单的计算错误,或者一些流行的计算错误正在困扰着该机构的科学。

让我们想想再分析在实践中意味着什么。

无论你多么喜欢一个话题,你都不会忍不住去检查一位受人尊敬的历史学家所写的非虚构书籍的每一个脚注,阅读原始资料,然后验证如果你要写一个类似的句子,你会得出相同的结论。你永远不会这样做,不仅因为你没有时间或兴趣(所有额外的工作会让阅读变得难以忍受),还因为你相信一位知名的历史学家会安排一个艰苦的事实核查和编辑过程,包括由编辑和其他研究人员进行事实核查,这样你就可以吸收经过严格审查的信息,享受这本书。

现在,想象一下环保局试图对基础变量、原始数据和计算方法进行同样的研究,这些研究用于为其每一项政策决策提供信息,包括对空气污染物、农药、超级基金化学品等的风险评估。如果你认为对每一本书进行事实核查会让阅读失去乐趣,那么限制科学规则会让环保署的科学工作陷入停滞。这将是非常昂贵的就时间和资源而言,假设这是可能的。

这也是不必要的。美国环保署已经有方法来审查科学研究的质量和强度。该机构不需要重新分析每一项关于空气质量标准的研究,也不需要做出农药监管决定,因为同行评议的过程是一种值得信赖的方式,可以确保研究人员提出正确的问题,根据最佳实践设计研究,并做出适当的假设来得出结论。重新分析的目的是让政府有机会排除一些研究,并试图通过使用相同的数据得出不同的结论来诋毁其他研究。它是科学信息的官僚标准,而不是科学标准。

广泛应用可重复性标准只会造成伤害,而不是帮助

EPA的规则草案显示,该机构希望使用原始数据和方法重新分析规则,并在使用它们支持规则之前证明它们是可重复的。但为什么要把可重复性作为研究可信度的标准呢?一项研究能否被复制或复制,不应被视为检验一项研究可信度的黄金标准。相反,环保局的科学家应该灵活地使用科学标准来判断证据通知规则的严谨性和有效性。事实上,环保局已经在这方面做得很好,而且该规定没有指出任何相反的证据。

一项研究可能无法成功的原因有很多复制或复制,其中最重要的是保护隐私、商业秘密、知识产权和其他与基础数据相关的保密问题。在研究环境危害时也面临挑战。观测数据必须用于空气和水污染的某些研究,重现人们暴露于污染物的条件通常是不可能的,也不符合道德标准。甚至OMB承认再现性标准不能适用于所有科学:“OMB敦促在处理原始数据和支持性数据时保持谨慎,因为将再现性标准应用于此类数据往往是不切实际的,甚至是不允许的或不道德的。例如,重复一个“负的”(无效的)临床(治疗)实验可能是不道德的,在切尔诺贝利事故后研究的辐射暴露可能是不可行的。”

即使这条规则是关于显示可重复性的(事实并非如此),这也不是数据的最终用户可以解决的问题,他们无法解决整个科学界面临的大规模挑战,比如缺乏确保敏感数据隐私保护所需的基础设施和资源。NAS在一篇文章中提到了这一点最近的报告他认为,资助机构应该投资于开源工具的研究和开发以及相关的研究培训,以便在科学过程的一开始就促进透明度,而不是将其用作排斥已经进行的重要公共卫生研究的机会。

重新分析前的生活

这个建议不能解决任何现存的问题。一个研究通过《信息质量法》(Information Quality Act)向环保署提出的79项要求,要求该机构更正或重新考虑2002年至2012年间支持其监管决策的数据,发现只有两项要求提供原始数据。一个可能的解释是,公众已经可以接触到EPA所依赖的科学,并且可以完全接触到方法、摘要数据、结果和解释,就像所有同行评审员一样。例如,在制定国家环境空气质量标准(NAAQS)时,EPA收集了用于制定综合科学评估的所有相关数据和研究,并由清洁空气科学咨询委员会公开辩论这些科学研究的优点。对获取原始数据的要求是完全不必要的,而且由于武断地排除了批判性研究的使用而导致了重大问题。

令人担忧的是,我们现在知道这项规定将改变环保署评估科学证据的方法。目前,该机构使用的最佳实践允许证据方法的权重,而这一规则不仅会改变过程,而且会将其编纂,使其更难逆转。这种编码的一部分是将“数据可用性”添加到列表中评估因素环保局会用它来确定研究的质量。自2003年以来,这些因素一直指导EPA的数据质量程序,包括稳健性、适用性和实用性、清晰度和完整性、不确定性和可变性以及评估和审查。它们帮助该机构评估围绕科学信息的客观性和完整性的背景,并确定如何在其证据权重方法中使用这些信息。最后一个因素,"评估和审查,"是机构已经独立验证研究,不使用基础数据,通过问以下问题:

a)研究方法和结果在多大程度上得到了独立的验证或确认?这些独立研究的结论是什么?它们是否一致?

b)对研究方法和结果进行独立同行评审的程度如何?评审的结论如何被考虑?

c)该程序、方法或模型是否在类似的同行评议研究中使用过?研究结果是否与其他相关研究一致?

d)对于基于模型的信息,在多大程度上对模型代码进行了独立的评估和测试并形成了文档?

这些指导性问题使该机构不必完全重新分析每一项研究,而是可以专注于证据方法的权重,这种方法“在综合评估中考虑所有相关信息,考虑到可用的证据类型,证据的质量和数量,与每种证据相关的优势和局限性,并解释各种类型的证据如何组合在一起。”在加权中包括数据可用性注入了一个任意参数,与研究质量和可靠性无关。

新通知中提供的一种选择是,如果一项研究的基础数据无法提供,EPA应该减少对结果的重视,“甚至完全忽视它们”,即使结果强有力、令人信服、工作符合最高科学标准,并且已经通过了广泛的科学同行评审。换句话说,EPA建议给予公开数据的研究最大的权重,而不是提供最有力的科学支持证据的研究。

由于许多环境健康研究依赖于医疗数据和其他私人信息,这一规则的限制将意味着无法评估现有的最佳科学。似乎这个提议不能再糟糕了,这些限制不仅适用于现在和未来的研究,而且还适用于追溯。这就好像环保署的政治领导层已经决定,在他们之前的任何科学工作都是可疑的,只有“他们的”科学可以被考虑。

除了没有必要之外,为环保署使用的每一项研究设定重新分析的目标是完全不可能实现的。它的实施将使环境保护署无法履行其职责。

这是一个行业设计的计划,将环保署埋没在繁文缛节之下

这个草案唯一有意义的地方就是当你记得我背后的力量t.政府科学是保密的,需要更加公开的想法,是烟草行业游说者早在20世纪90年代中期就提出的一个前提。在给RJ Reynolds烟草公司的一份备忘录中,说客(和特朗普政府过渡团队成员——克里斯托弗·霍纳写了关于创造的需要“要求环保署和其他联邦机构在制定法外文件时必须遵循的审查程序”,并建立“环保署在发布科学报告时必须遵循的明确程序障碍”,因为“我们的方法是处理过程,而不是科学内容”。

这不仅仅是烟草的问题。这些游说者考虑的是环保署为解决从汞排放、有害废物、二恶英到空气污染等各种问题所做的努力。他们知道,科学证明了一系列工业产品和工艺的危害,将导致更强有力的保护,而阻止它的唯一方法是打破这一过程。这项政策确实会以我们为代价破坏环保署的程序,我们将继续与科学界斗争,阻止它的发展。