Publicado en Nature
https://www.nature.com/articles/d41586-022-00402-1
Los NIH emiten un mandato sísmico: compartir los datos públicamente
La política de intercambio de datos podría establecer un estándar mundial para la investigación biomédica, dicen los científicos, pero tienen dudas sobre la logística y la equidad.
En enero de 2023, los Institutos Nacionales de la Salud (NIH) de EE.UU. empezarán a exigir a la mayoría de los 300.000 investigadores y 2.500 instituciones que financian anualmente que incluyan un plan de gestión de datos en sus solicitudes de subvención y que, en última instancia, pongan sus datos a disposición del público.
Los investigadores que hablaron con Nature aplauden en gran medida los principios de la ciencia abierta en los que se basa la política y el ejemplo mundial que supone. Pero a algunos les preocupan los problemas logísticos que los investigadores y sus instituciones tendrán que afrontar para cumplirla. En concreto, les preocupa que la política pueda exacerbar las desigualdades existentes en el panorama de la financiación de la ciencia y que pueda ser una carga para los científicos que inician su carrera, que realizan la mayor parte de la recogida de datos y que ya están al límite.
El mandato pretende, en parte, hacer frente a la crisis de reproducibilidad de la investigación científica. El año pasado, un intento de replicar estudios influyentes sobre el cáncer, con un coste de 2 millones de dólares y ocho años de duración, descubrió que menos de la mitad de los experimentos evaluados resistían el escrutinio. Los esfuerzos por contabilizar el coste de la investigación irreproducible en Estados Unidos han revelado que se gastan entre 10.000 y 50.000 millones de dólares en estudios que utilizan métodos deficientes, un coste que en su mayor parte es sufragado por los organismos públicos de financiación.
Los estudios irreproducibles no sólo malgastan el dinero de los contribuyentes, dice Lyric Jorgenson, directora asociada en funciones de la política científica de los NIH, sino que también socavan la confianza del público en la ciencia. "Queremos asegurarnos de que la inversión de la nación se aprovecha y de que se fomenta la transparencia y la responsabilidad en la investigación", afirma.
Joseph Ross, investigador de política sanitaria de la Facultad de Medicina de Yale, en New Haven (Connecticut), afirma que los efectos del mandato se dejarán sentir mucho más allá de las fronteras de EE.UU., ya que los NIH son el mayor financiador público de investigación biomédica del mundo. Es importante asegurarse de que la política establece el tono adecuado, dice Ross, porque señalará a los científicos de todo el mundo cómo debe hacerse la investigación biomédica.
Un cambio sísmico
Según la nueva política, que entrará en vigor el 25 de enero, todas las solicitudes de subvención de los NIH para proyectos que recojan datos científicos deberán incluir un plan de "gestión y puesta en común de datos" (DMS) que contenga detalles sobre el software o las herramientas necesarias para analizar los datos, cuándo y dónde se publicarán los datos brutos y cualquier consideración especial para acceder a ellos o distribuirlos.
Un cambio tan radical en la práctica ha dejado a algunos investigadores preocupados por la cantidad de trabajo que requerirá el mandato cuando entre en vigor.
Jenna Guthmiller, inmunóloga de la Universidad de Chicago (Illinois), puede dar fe de que probablemente será necesario más trabajo. Ella es una de las pocas investigadoras financiadas a través de un programa del Instituto Nacional de Alergias y Enfermedades Infecciosas (NIAID) de EE.UU. que ha aplicado una política similar al plan de los NIH, dice. Para Guthmiller, eso significó buscar información sobre reactivos y condiciones experimentales que ya no existen desde hace tiempo para un proyecto que lleva cuatro años en marcha. Eso le llevó 15 horas, dice, "y tuve la suerte de trabajar con un gestor de datos".
Dado que la inmensa mayoría de los laboratorios e instituciones no cuentan con gestores de datos que los organicen y conserven, la política -aunque bien intencionada- probablemente supondrá una pesada carga para los becarios y los investigadores principales que inician su carrera, dice Lynda Coughlan, vacunóloga de la Facultad de Medicina de la Universidad de Maryland en Baltimore, que lleva menos de dos años dirigiendo un equipo de investigación y está preocupada por lo que la política supondrá para ella.
Jorgenson afirma que, aunque la política puede exigir a los investigadores que dediquen más tiempo a la organización de sus datos, es una parte esencial de la investigación, y el posible aumento de la confianza del público en la ciencia a largo plazo justificará el esfuerzo adicional.
A otros les preocupa que las actividades de gestión de datos resten fondos a los laboratorios con pocos recursos. Aunque la política describe ciertas tasas que los investigadores pueden añadir a sus presupuestos propuestos para compensar los costes del cumplimiento del mandato, no especifica qué criterios utilizarán los NIH para conceder estas solicitudes.
Para que la política tenga éxito, Ross dice que los NIH tienen que ser claros sobre cómo concederán estos recursos -especialmente a los investigadores noveles y a las instituciones con poca financiación- para no exacerbar las desigualdades existentes en la comunidad investigadora.
Jorgenson responde que la agencia está evaluando los costes del cumplimiento y espera preparar más orientaciones e información.
Posibles escollos
Como parte de la política de intercambio de datos, cuando un proyecto de investigación se haya completado o cuando expire su subvención -lo que ocurra primero- los funcionarios del programa de los NIH revisarán el plan de DMS para asegurarse de que los investigadores lo han cumplido. En ese momento, la política estipula que los investigadores deben compartir cualquier "dato científico" necesario para "validar y replicar los hallazgos de la investigación, independientemente de que los datos se utilicen para respaldar las publicaciones académicas", aunque hace una excepción en los casos en los que el intercambio de datos suponga una carga legal, ética o técnica importante. Los NIH recomiendan que estos datos se compartan únicamente en un repositorio acreditado; en última instancia, los investigadores decidirán dónde cargar la información.
El amplio término "datos científicos" ha dejado a algunos investigadores confundidos sobre qué información exactamente se les pedirá que compartan. Es difícil predecir qué datos pueden ser útiles para otros investigadores, o si alguien podrá acceder a ellos, afirma Coughlan.
En respuesta a un primer borrador de la política, la Asociación Americana de Universidades, una organización con sede en Washington DC que representa a 66 universidades, escribió en 2020 que la definición de datos científicos de los NIH debía ser más precisa, y sugirió que la agencia la limitara para incluir sólo los datos subyacentes a las publicaciones académicas.
Jorgenson afirma que los datos recogidos cuando los experimentos no funcionan -y que, por tanto, no aparecen en las publicaciones- son igualmente importantes de comunicar, porque incluyen información que podría ayudar a otros investigadores a comprender el contexto completo del éxito de un experimento. La ambigüedad de la política ofrece a los investigadores flexibilidad para determinar qué datos son realmente necesarios para reproducir los resultados de la investigación, afirma.
Brian Nosek, director ejecutivo del Centro para la Ciencia Abierta, con sede en Charlottesville (Virginia), señala que será un gran reto para los NIH asegurarse de que todos los datos relevantes han sido compartidos al final de un proyecto. Aunque la política es un "hito importante en la maduración del movimiento de la ciencia abierta más allá de pensar en el acceso abierto", a Nosek le preocupa que algunos solicitantes no se la tomen en serio si no hay consecuencias por su incumplimiento. Jorgenson responde que si la política no se cumple, podrían ponerse en peligro futuras concesiones de fondos para investigadores o instituciones.
A pesar de sus posibles inconvenientes, Ross cree que la política tendrá un efecto dominó que persuadirá a las agencias de financiación más pequeñas y a la industria a adoptar cambios similares. "Esta política establece lo que la gente espera de la investigación clínica", dice. "Esencialmente está diciendo que la cultura de la investigación tiene que cambiar".
Nature 602, 558-559 (2022)
doi: https://doi.org/10.1038/d41586-022-00402-1
ACTUALIZACIONES Y CORRECCIONES
Corrección 16 de febrero de 2022: En una versión anterior de este artículo, el apellido de Lyric Jorgenson estaba mal escrito.
—--------------------------------
16 February 2022
Correction 16 February 2022
The data-sharing policy could set a global standard for biomedical research, scientists say, but they have questions about logistics and equity.
In January 2023, the US National Institutes of Health (NIH) will begin requiring most of the 300,000 researchers and 2,500 institutions it funds annually to include a data-management plan in their grant applications — and to eventually make their data publicly available.
Researchers who spoke to Nature largely applaud the open-science principles underlying the policy — and the global example it sets. But some have concerns about the logistical challenges that researchers and their institutions will face in complying with it. Namely, they worry that the policy might exacerbate existing inequities in the science-funding landscape and could be a burden for early-career scientists, who do the lion’s share of data collection and are already stretched thin.
The mandate, in part, aims to tackle the reproducibility crisis in scientific research. Last year, a US$2-million, eight-year attempt to replicate influential cancer studies found that fewer than half of the assessed experiments stood up to scrutiny. Efforts to tally the cost of irreproducible research in the United States have found that $10 billion to $50 billion is spent on studies that use deficient methods, a cost that is mostly fronted by public funding agencies.
Irreproducible studies not only waste taxpayers’ money, says Lyric Jorgenson, the acting associate director for science policy at the NIH, but also undermine public trust in science. “We want to make sure that we’re making good on the nation’s investment and fostering transparency and accountability in research,” she says.
Joseph Ross, a health-policy researcher at Yale School of Medicine in New Haven, Connecticut, says the mandate’s effects will be felt far beyond US borders because the NIH is the world’s largest public funder of biomedical research. Ensuring that the policy sets the right tone is important, Ross says, because it will signal to scientists all over the world how biomedical research should be done.
A seismic shiftUnder the new policy, which will go into effect on 25 January, all NIH grant applications for projects that collect scientific data must include a ‘data management and sharing’ (DMS) plan that contains details about the software or tools needed to analyse the data, when and where the raw data will be published and any special considerations for accessing or distributing that data.
Such a seismic shift in practice has left some researchers worried about the amount of work that the mandate will require when it becomes effective.
Jenna Guthmiller, an immunologist at the University of Chicago in Illinois, can attest that more work will probably be required. She is one of a handful of researchers funded through a US National Institute of Allergy and Infectious Diseases (NIAID) programme that has enacted a policy similar to the NIH-wide plan, she says. For Guthmiller, that meant tracking down information on long-gone reagents and experimental conditions for a project that’s been running for four years. That took 15 hours, she says, “and I was fortunate enough to work with a data manager”.
Because the vast majority of laboratories and institutions don’t have data managers who organize and curate data, the policy — although well-intentioned — will probably put a heavy burden on trainees and early-career principal investigators, says Lynda Coughlan, a vaccinologist at the University of Maryland School of Medicine in Baltimore, who has been leading a research team for fewer than two years and is worried about what the policy will mean for her.
Jorgenson says that, although the policy might require researchers to spend extra time organizing their data, it’s an essential part of conducting research, and the potential long-term boost in public trust for science will justify the extra effort.
Others worry that data-management activities will further sap funds from under-resourced labs. Although the policy outlines certain fees that researchers can add to their proposed budgets to offset the costs of compliance with the mandate, it doesn’t specify what criteria the NIH will use to grant these requests.
For the policy to be successful, Ross says that the NIH needs to be clear about how it will award these resources — especially to early-career researchers and to underfunded institutions — so as not to exacerbate existing inequities in the research community.
Jorgenson responds that the agency is evaluating the costs of compliance and hopes to prepare more guidance and information.
Potential pitfallsAs part of the data-sharing policy, when a research project is complete or when its grant expires — whichever comes first — NIH programme officers will review the DMS plan to ensure that researchers have adhered to it. At that time, the policy stipulates that researchers must share any ‘scientific data’ needed to “validate and replicate research findings, regardless of whether the data are used to support scholarly publications” — although it makes an exception in cases where data sharing would pose a significant legal, ethical or technical burden. The NIH recommends that this data be shared only in a reputable repository; ultimately, researchers will decide where to upload the information.
The broad term ‘scientific data’ has left some researchers confused about exactly what information they’ll be required to share. It’s hard to predict which data might be useful for other researchers, or whether that data will ever be accessed by anyone, Coughlan says.
In response to an early draft of the policy, the American Association for Universities, an organization based in Washington DC that represents 66 universities, wrote in 2020 that the NIH’s definition of scientific data needed to be narrowed, and suggested that the agency limit it to include only data underlying scholarly publications.
Jorgenson says that data collected when experiments don’t work — and therefore that are not in publications — are just as important to communicate, because they include information that could help other researchers to understand the full context of an experiment’s success. The ambiguity in the policy offers researchers flexibility in determining which data are truly necessary to reproduce research findings, she says.
Brian Nosek, executive director of the Center for Open Science, based in Charlottesville, Virginia, points out that it will be a major challenge for the NIH to ensure that all relevant data have been shared at the conclusion of a project. Although the policy is an “important milestone of maturing the open-science movement beyond just thinking about open access”, Nosek worries that some applicants might not take it seriously if there are no consequences for non-compliance. Jorgenson responds that if the policy is not followed, future funding awards for researchers or institutions could be jeopardized.
Despite its potential pitfalls, Ross thinks that the policy will have a ripple effect that will persuade smaller funding agencies and industry to adopt similar changes. “This policy establishes what people expect from clinical research,” he says. “It’s essentially saying the culture of research needs to change.”
Nature 602, 558-559 (2022)
doi: https://doi.org/10.1038/d41586-022-00402-1
UPDATES & CORRECTIONSCorrection 16 February 2022: In an earlier version of this story, Lyric Jorgenson's surname was spelled incorrectly.
