Publicado en Nature
https://www.nature.com/
⦁ Un cambio sólido y sostenible depende de si los valores culturales subyacentes se han alterado, no sólo las señales superficiales. Si no lo han hecho, las prácticas de la ciencia abierta pueden convertirse en un obstáculo más, una forma de señalización de la virtud o una cortina de humo.
⦁ Me preocupa que, al adoptar los adornos de la reproducibilidad, el trabajo de mala calidad pueda parecer que ha adoptado las mejores prácticas. El problema es que el trabajo descuidado está impulsado por una cultura científica que pone demasiado énfasis en los hallazgos interesantes. Cuando los financiadores y las revistas recompensan las afirmaciones llamativas en detrimento de los métodos rigurosos y los resultados reproducibles, las reformas para cambiar la práctica pueden resultar contraproducentes. Las nuevas prácticas, normas y políticas útiles se transforman en formalidades sin sentido para seguir acaparando titulares a cualquier precio.
⦁ Dicho esto, veo que los valores están cambiando... algunos investigadores reaccionaron con abierta hostilidad, utilizando frases como "policía de la replicación". Ahora esas críticas son poco frecuentes (al menos en público). Y en algunas comunidades, los investigadores dan ahora prioridad al trabajo que otros pueden aprovechar. Por ejemplo, organizaciones como la Society for Improving Psychological Science (Sociedad para la Mejora de la Ciencia Psicológica) encarnan una oleada de energía e idealismo por parte de investigadores, en su mayoría jóvenes.
Cuidado con la reproducibilidad simulada
Los cambios bien intencionados para mejorar la ciencia podrían convertirse en gestos vacíos si no cambian los valores subyacentes.
Stuart Buck
Hace casi una década, en Arnold Ventures -una organización filantrópica de 2.000 millones de dólares en Houston, Texas- nos dimos cuenta de que utilizar la evidencia para dirigir nuestras donaciones requería tener más confianza en la propia evidencia. Como vicepresidente de investigación, me encontré inmerso en los esfuerzos por mejorar la ciencia, dispersando más de 60 millones de dólares en subvenciones para garantizar que los investigadores pudieran aprovechar los resultados de otros. Participé en los debates que condujeron a la adopción generalizada de directrices que promueven la transparencia y la apertura, al repositorio de ensayos clínicos Vivli y al lanzamiento del Centro para la Ciencia Abierta, una organización sin ánimo de lucro en Charlottesville, Virginia.
He visto muchos cambios positivos desde entonces. Pero a veces me preocupa que podamos acabar con el peor de los mundos: la pretensión de reproducibilidad sin la realidad.
En 2012, muy poca gente había oído hablar del prerregistro, la práctica antibacteriana de especificar, por escrito, los análisis e hipótesis previstos al comienzo de un experimento. Hacerlo era un requisito para nuestros becarios.
Hoy en día, parece que todos los científicos saben lo que es el prerregistro. La mayoría está de acuerdo en que puede ayudar a reducir el sesgo de publicación y el "P-hacking", cuando los datos se ajustan para producir valores P significativos. Las principales sociedades profesionales respaldan ahora esta práctica: el registro de la Asociación Americana de Economía cuenta con más de 4.700 estudios, y la Asociación Americana de Psicología ha creado un conjunto de "Normas de prerregistro para la investigación cuantitativa en psicología". De hecho, hay unos 75.000 proyectos de investigación registrados en el repositorio Open Science Framework del Center for Open Science.
Nuestra obsesión por la eminencia distorsiona la investigación
Se puede contar una historia similar sobre el intercambio de datos a través de Zenodo del CERN, el laboratorio europeo de física de partículas cerca de Ginebra (Suiza); Figshare de la empresa de análisis londinense Digital Science; muchos repositorios de los Institutos Nacionales de Salud; y otros. Aunque todavía está lejos de ser una rutina en muchas disciplinas, el ritmo al que los artículos académicos comparten sus datos subyacentes está creciendo: un estudio lo sitúa en un aumento de alrededor del 0% en 2000 a casi el 20% en 2018 (S. Serghiou et al. PLoS Biol. 19, e3001107; 2021).
Pero un cambio sólido y sostenible depende de si los valores culturales subyacentes se han alterado, no solo las señales superficiales. Si no lo han hecho, las prácticas de la ciencia abierta pueden convertirse en un obstáculo más, una forma de señalización de la virtud o una cortina de humo.
Lo he visto. En una conferencia celebrada unos meses antes de la pandemia, un académico me contó cómo, en su departamento, todo el mundo escribía largos planes de preanálisis que, en teoría, limitarían el hackeo P. En la práctica, admitió, los investigadores podían dar rienda suelta al "cherry picking", contando con que nadie tiene tiempo o paciencia para leer un plan de preanálisis de 100 páginas y compararlo con la publicación posterior.
Las pruebas más sistemáticas proceden del Proyecto COMPare, dirigido por Ben Goldacre en la Universidad de Oxford (Reino Unido), un esfuerzo financiado por mi departamento. Ese equipo revisó las publicaciones de 67 ensayos clínicos en las principales revistas médicas y las comparó con las descripciones originales. Sólo 9 coincidieron. De los demás, 354 resultados prerregistrados no se informaron; otros 357 resultados se "añadieron silenciosamente" (B. Goldacre et al. Trials 20, 118; 2019).
Mientras tanto, muchos prerregistros son demasiado vagos. En un estudio, se pidió a los revisores que contaran el número de hipótesis en 106 prerregistros. Sólo estuvieron de acuerdo el 14% de las veces (M. Bakker et al. PLoS Biol. 18, e3000937; 2020).
¿Qué pasa con el intercambio de datos? Los principios FAIR estipulan que los datos compartidos deben ser "localizables, accesibles, interoperables y reutilizables". Un análisis realizado en 2020 en 15 revistas de psicología concluyó que la mayoría de los conjuntos de datos "no estaban completos ni eran reutilizables" (J. N. Towse et al. Behav. Res. https://doi.org/gkzk; 2020).
Me preocupa que, al adoptar los adornos de la reproducibilidad, el trabajo de mala calidad pueda parecer que ha adoptado las mejores prácticas. El problema es que el trabajo descuidado está impulsado por una cultura científica que pone demasiado énfasis en los hallazgos interesantes. Cuando los financiadores y las revistas recompensan las afirmaciones llamativas en detrimento de los métodos rigurosos y los resultados reproducibles, las reformas para cambiar la práctica pueden resultar contraproducentes. Las nuevas prácticas, normas y políticas útiles se transforman en formalidades sin sentido para seguir acaparando titulares a cualquier precio.
Dicho esto, veo que los valores están cambiando. En los primeros años en que Arnold Ventures comenzó a apoyar estos esfuerzos, algunos investigadores reaccionaron con abierta hostilidad, utilizando frases como "policía de la replicación". Ahora esas críticas son poco frecuentes (al menos en público). Y en algunas comunidades, los investigadores dan ahora prioridad al trabajo que otros pueden aprovechar. Por ejemplo, organizaciones como la Society for Improving Psychological Science (Sociedad para la Mejora de la Ciencia Psicológica) encarnan una oleada de energía e idealismo por parte de investigadores, en su mayoría jóvenes.
Aun así, lo que realmente importa es que los científicos se sientan capacitados y recompensados por hacer un trabajo sólido, publicar resultados negativos y seguir los datos. El idealismo de los científicos que inician su carrera debe ir acompañado de señales firmes por parte de los directivos y las instituciones de que es posible ser contratado y obtener la titularidad mientras se aplican las mejores prácticas. Una señal esperanzadora es que en los anuncios de empleo de algunas universidades se pregunta por el compromiso de los candidatos con las prácticas de la ciencia abierta.
Este tipo de cambio cultural es el verdadero reto.
No hay comentarios:
Publicar un comentario