Mostrando entradas con la etiqueta Reproducibilidad. Mostrar todas las entradas
Mostrando entradas con la etiqueta Reproducibilidad. Mostrar todas las entradas

jueves, 20 de abril de 2023

¡Qué se nos pudre la ciencia! [ Ética científica en la era del "Publish or Perish" ]

Publicado en El País
https://elpais.com/ciencia/2023-04-20/se-nos-pudre-la-ciencia.html


Se nos pudre la ciencia

Los casos revelados en este periódico no son más que la punta del iceberg de un sinfín de despropósitos que hacen que, poco a poco, se nos pudra el sistema científico, al calor de lo que parece un negocio redondo

EVA MÉNDEZ


¿Cómo puede ser que un investigador publique un estudio científico cada 37 horas? ¿Qué es eso de “los más citados”? ¿Y el ranking de Shanghái”? ¿Cómo puede ser que las universidades árabes paguen tanto dinero solo por cambiar la filiación de la institución? ¿Quién hace las publicaciones científicas? ¿Cómo se financian los estudios? Estas son algunas de las múltiples preguntas que he recibido recientemente en mi teléfono. Mis amigos que no trabajan en el mundo científico y académico han leído en EL PAÍS casos de lo que podríamos llamar “falta de integridad científica”, o lo que a mí me gusta calificar como el impacto de los motivadores de la voluntad de la investigación.

Algunas de las respuestas categóricas que he dado a esas preguntas han sido estas: publicar un estudio en 37 horas es imposible. Las universidades árabes pagan porque son presa, como el resto de las universidades del mundo, de los rankings universitarios. Las publicaciones científicas las hacen (supuestamente) los investigadores. Las pagamos todos. Y los más citados son algo así como Los 40 principales de la ciencia. Sin embargo, estas reflexiones no dan respuesta al drama de un sistema científico trasnochado, ineficaz y maltrecho.

La ciencia, además de ser la clave para hacer un mundo mejor, para enfrentar el cambio climático o una pandemia mundial, es también una empresa humana, y la carrera científica una profesión. Para entrar (y permanecer) en esa carrera, los investigadores tienen que publicar “y publicar” artículos científicos (papers) y, por supuesto, conseguir financiación pública para realizar esa investigación que, en el mejor de los casos para su carrera, culmine en una publicación en una revista con alto “factor de impacto” (JIF). Y vuelta a empezar. El principio de ”publicar o perecer” ha dado lugar a muchas malas prácticas, a conductas poco éticas, a que mucha investigación se malgaste (research waste) sin tener ningún impacto en la sociedad, e incluso, a la crisis de la reproducibilidad de la ciencia.

"La ciencia es clave para hacer un mundo mejor, enfrentarnos el cambio climático o a una pandemia mundial, pero también es una empresa humana, y la carrera científica una profesión”

Los investigadores tenemos, además de la curiosidad, el interés y otros loables principios que nos dirigen a la carrera científica, el motivador de la voluntad de publicar, como un fin en sí mismo. Ya que es lo que nos va a permitir obtener financiación, un puesto fijo en una universidad y lo que nos va a servir para permanecer en el sistema. Parte de este sistema (el elefante en la habitación) son las grandes editoriales científicas, a las que se pagan cantidades astronómicas por acceder y/o por publicar, y las empresas que determinan los factores de impacto de esas publicaciones basados en las citas que reciben las revistas.

Una de estas empresas, Clarivate (a la que aluden los casos revelados por este medio), realiza además su propia lista de esos 40 principales, los Highly Cited Researchers (HCR)donde se incluyen en riguroso orden y por disciplinas los 6.938 investigadores más citados. La cita no es un indicador indiscutible de calidad, sino un marcador de la popularidad: de las publicaciones (JIF) o de los investigadores (HCR). Al listado de los científicos “populares” se puede acceder en abierto, pero para lograr entrar a los listados de las buenas (“populares”) revistas (Journal Citation Report), las instituciones o los países tienen que pagar también importantes cantidades de siete cifras.

Por otra parte, los investigadores pertenecen a universidades u organismos de investigación que también tienen sus motivadores de la voluntad para atraer estudiantes, elevar su prestigio o captar otros reconocimientos. El elemento para definir la calidad (popularidad) de una universidad es nuevamente más listas, en este caso, rankings que colocan a las universidades por un orden de prelación según criterios de índole diversa y basados, en el caso de medir su absoluta excelencia, en índices tan arbitrarios como tener un premio Nobel, o uno de estos individuos altamente citados. ¡Como si una sola persona pudiera legitimar a toda una institución!

"Publicar artículos en revistas especializadas ayuda a obtener financiación, un puesto fijo en una universidad y nos permite permanecer en el sistema (el elefante en la habitación)”

Lo que muestran los casos revelados en este periódico no es más que la punta del iceberg de un sinfín de despropósitos que hacen que, poco a poco, se nos pudra el sistema científico actual, al calor de lo que parece un negocio redondo. Los investigadores hacen la investigación, financiada con fondos públicos, las instituciones públicas en las que trabajan pagan a las grandes editoriales varias veces (por leer y por publicar), los investigadores además revisan gratis los trabajos científicos, y empresas como Clarivate o el ranking de Shanghái prescriben en sus listados quiénes son los buenos (y por comparación, los malos).

En los últimos 30 años, desde que convivimos con internet, hemos cambiado la forma de comunicarnos, de comprar, de enseñar, de aprender y hasta de ligar. Y sin embargo, seguimos haciendo, financiando y evaluando la ciencia de la misma manera que en el siglo pasado. Los jóvenes investigadores, malpagados y presionados por el sistema, aspiran a salir de cantar en sus laboratorios, tratando de cambiar el mundo, a alguna de las listas de Los 40 principales.

Pero, como dicen los argentinos, “el problema no es del chancho, sino del que le da de comer”, y consciente o inconscientemente, todos alimentamos este sistema anacrónico e ineficaz, subsumidos en un abrazo mortal con las editoriales científicas y los rankings universitarios. Y mientras, llenamos las arcas de editores y otras empresas del entorno que, como Clarivate, nos venden sus productos y nos dicen, con fines de lucro, qué es calidad. Quien puede pagar, paga, y entra en la élite de las viciadas popularidades. Pero la ciencia, como dice la nueva Ley 17/2022 en España, ha de ser “un bien común”, y debe devolverse a los investigadores que la hacen y a la sociedad que la sufraga.

"En los últimos 30 años, desde internet, hemos cambiado la forma de comunicarnos, comprar, enseñar, aprender y hasta de ligar, sin embargo, hacemos ciencia de la misma manera que en el siglo pasado”

Para que no se nos pudra (más) el sistema científico actual, los investigadores, instituciones y demás agentes tenemos que romper el abrazo mortal de la ciencia y reaccionar para cambiar la forma en que comunicamos el conocimiento científico y, sobre todo, cómo evaluamos el mérito de los investigadores más allá de los papers. Sin embargo, hay alguna luz al final del túnel. Aunque seamos víctimas y cómplices del sistema actual, también somos conscientes de sus debilidades y, en mayor o menor medida, queremos cambiarlo.

En este sentido se ha creado, tras un largo debate con los agentes implicados y facilitado por la Unidad de Ciencia Abierta de la Comisión Europea, la Coalición para el Avance de la Evaluación de la investigación (CoARA). En los últimos cuatro meses se han adherido a CoARA más de 500 instituciones, que adoptan, entre otros compromisos, el de evitar el uso de los rankings en la evaluación de la investigación. CoARA es un paso al frente para analizar de forma coherente, colectiva, necesaria y global la reforma de la evaluación de la investigación, de tal manera que podamos pasar de un sistema de evaluación exclusivamente cuantitativo de las revistas, y papercentrista, a un sistema que incluya otros productos de investigación, otros indicadores, así como narrativas cualitativas que definan las contribuciones específicas del investigador y que valoren todos los talentos académicos y en todas las disciplinas.

Como les dije a mis amigos: la ciencia es como un paracaídas, si no se abre no nos va a ayudar. En la era de la web, de la inteligencia artificial y de los datos, otro sistema científico es posible y, además, necesario.

Eva Méndez es profesora titular del Departamento de Biblioteconomía de la Universidad Carlos III de Madrid y directora de OpenScienceLab, el grupo de Metainvestigación para la Ciencia Abierta



martes, 21 de septiembre de 2021

CIENCIA ABIERTA: Cuidado con la reproducibilidad simulada

Publicado en Nature
https://www.nature.com/articles/d41586-021-01824-z 


⦁ Un cambio sólido y sostenible depende de si los valores culturales subyacentes se han alterado, no sólo las señales superficiales. Si no lo han hecho, las prácticas de la ciencia abierta pueden convertirse en un obstáculo más, una forma de señalización de la virtud o una cortina de humo.

⦁ Me preocupa que, al adoptar los adornos de la reproducibilidad, el trabajo de mala calidad pueda parecer que ha adoptado las mejores prácticas. El problema es que el trabajo descuidado está impulsado por una cultura científica que pone demasiado énfasis en los hallazgos interesantes. Cuando los financiadores y las revistas recompensan las afirmaciones llamativas en detrimento de los métodos rigurosos y los resultados reproducibles, las reformas para cambiar la práctica pueden resultar contraproducentes. Las nuevas prácticas, normas y políticas útiles se transforman en formalidades sin sentido para seguir acaparando titulares a cualquier precio. 

⦁ Dicho esto, veo que los valores están cambiando... algunos investigadores reaccionaron con abierta hostilidad, utilizando frases como "policía de la replicación". Ahora esas críticas son poco frecuentes (al menos en público). Y en algunas comunidades, los investigadores dan ahora prioridad al trabajo que otros pueden aprovechar. Por ejemplo, organizaciones como la Society for Improving Psychological Science (Sociedad para la Mejora de la Ciencia Psicológica) encarnan una oleada de energía e idealismo por parte de investigadores, en su mayoría jóvenes.


Cuidado con la reproducibilidad simulada

Los cambios bien intencionados para mejorar la ciencia podrían convertirse en gestos vacíos si no cambian los valores subyacentes.

Stuart Buck

Hace casi una década, en Arnold Ventures -una organización filantrópica de 2.000 millones de dólares en Houston, Texas- nos dimos cuenta de que utilizar la evidencia para dirigir nuestras donaciones requería tener más confianza en la propia evidencia. Como vicepresidente de investigación, me encontré inmerso en los esfuerzos por mejorar la ciencia, dispersando más de 60 millones de dólares en subvenciones para garantizar que los investigadores pudieran aprovechar los resultados de otros. Participé en los debates que condujeron a la adopción generalizada de directrices que promueven la transparencia y la apertura, al repositorio de ensayos clínicos Vivli y al lanzamiento del Centro para la Ciencia Abierta, una organización sin ánimo de lucro en Charlottesville, Virginia.

He visto muchos cambios positivos desde entonces. Pero a veces me preocupa que podamos acabar con el peor de los mundos: la pretensión de reproducibilidad sin la realidad.

En 2012, muy poca gente había oído hablar del prerregistro, la práctica antibacteriana de especificar, por escrito, los análisis e hipótesis previstos al comienzo de un experimento. Hacerlo era un requisito para nuestros becarios.

Hoy en día, parece que todos los científicos saben lo que es el prerregistro. La mayoría está de acuerdo en que puede ayudar a reducir el sesgo de publicación y el "P-hacking", cuando los datos se ajustan para producir valores P significativos. Las principales sociedades profesionales respaldan ahora esta práctica: el registro de la Asociación Americana de Economía cuenta con más de 4.700 estudios, y la Asociación Americana de Psicología ha creado un conjunto de "Normas de prerregistro para la investigación cuantitativa en psicología". De hecho, hay unos 75.000 proyectos de investigación registrados en el repositorio Open Science Framework del Center for Open Science.


Nuestra obsesión por la eminencia distorsiona la investigación

Se puede contar una historia similar sobre el intercambio de datos a través de Zenodo del CERN, el laboratorio europeo de física de partículas cerca de Ginebra (Suiza); Figshare de la empresa de análisis londinense Digital Science; muchos repositorios de los Institutos Nacionales de Salud; y otros. Aunque todavía está lejos de ser una rutina en muchas disciplinas, el ritmo al que los artículos académicos comparten sus datos subyacentes está creciendo: un estudio lo sitúa en un aumento de alrededor del 0% en 2000 a casi el 20% en 2018 (S. Serghiou et al. PLoS Biol. 19, e3001107; 2021).

Pero un cambio sólido y sostenible depende de si los valores culturales subyacentes se han alterado, no solo las señales superficiales. Si no lo han hecho, las prácticas de la ciencia abierta pueden convertirse en un obstáculo más, una forma de señalización de la virtud o una cortina de humo.

Lo he visto. En una conferencia celebrada unos meses antes de la pandemia, un académico me contó cómo, en su departamento, todo el mundo escribía largos planes de preanálisis que, en teoría, limitarían el hackeo P. En la práctica, admitió, los investigadores podían dar rienda suelta al "cherry picking", contando con que nadie tiene tiempo o paciencia para leer un plan de preanálisis de 100 páginas y compararlo con la publicación posterior.

Las pruebas más sistemáticas proceden del Proyecto COMPare, dirigido por Ben Goldacre en la Universidad de Oxford (Reino Unido), un esfuerzo financiado por mi departamento. Ese equipo revisó las publicaciones de 67 ensayos clínicos en las principales revistas médicas y las comparó con las descripciones originales. Sólo 9 coincidieron. De los demás, 354 resultados prerregistrados no se informaron; otros 357 resultados se "añadieron silenciosamente" (B. Goldacre et al. Trials 20, 118; 2019).

Mientras tanto, muchos prerregistros son demasiado vagos. En un estudio, se pidió a los revisores que contaran el número de hipótesis en 106 prerregistros. Sólo estuvieron de acuerdo el 14% de las veces (M. Bakker et al. PLoS Biol. 18, e3000937; 2020).

¿Qué pasa con el intercambio de datos? Los principios FAIR estipulan que los datos compartidos deben ser "localizables, accesibles, interoperables y reutilizables". Un análisis realizado en 2020 en 15 revistas de psicología concluyó que la mayoría de los conjuntos de datos "no estaban completos ni eran reutilizables" (J. N. Towse et al. Behav. Res. https://doi.org/gkzk; 2020).

Me preocupa que, al adoptar los adornos de la reproducibilidad, el trabajo de mala calidad pueda parecer que ha adoptado las mejores prácticas. El problema es que el trabajo descuidado está impulsado por una cultura científica que pone demasiado énfasis en los hallazgos interesantes. Cuando los financiadores y las revistas recompensan las afirmaciones llamativas en detrimento de los métodos rigurosos y los resultados reproducibles, las reformas para cambiar la práctica pueden resultar contraproducentes. Las nuevas prácticas, normas y políticas útiles se transforman en formalidades sin sentido para seguir acaparando titulares a cualquier precio. 

Dicho esto, veo que los valores están cambiando. En los primeros años en que Arnold Ventures comenzó a apoyar estos esfuerzos, algunos investigadores reaccionaron con abierta hostilidad, utilizando frases como "policía de la replicación". Ahora esas críticas son poco frecuentes (al menos en público). Y en algunas comunidades, los investigadores dan ahora prioridad al trabajo que otros pueden aprovechar. Por ejemplo, organizaciones como la Society for Improving Psychological Science (Sociedad para la Mejora de la Ciencia Psicológica) encarnan una oleada de energía e idealismo por parte de investigadores, en su mayoría jóvenes.

Aun así, lo que realmente importa es que los científicos se sientan capacitados y recompensados por hacer un trabajo sólido, publicar resultados negativos y seguir los datos. El idealismo de los científicos que inician su carrera debe ir acompañado de señales firmes por parte de los directivos y las instituciones de que es posible ser contratado y obtener la titularidad mientras se aplican las mejores prácticas. Una señal esperanzadora es que en los anuncios de empleo de algunas universidades se pregunta por el compromiso de los candidatos con las prácticas de la ciencia abierta.

Este tipo de cambio cultural es el verdadero reto.

martes, 4 de mayo de 2021

Reporte: Mejorando la ciencia: reproducibilidad, falsabilidad y el método científico

 Publicado en blog Universo Abierto



Mejorando la ciencia: reproducibilidad, falsabilidad y el método científico




McIntosh Borrelli, Leslie; Vitale, Cynthia Hudson; Juehne, Anthony; Mothershead, Sasha; Sumner, Josh; Haynes, Leah; et al. Making Science Better: Reproducibility, Falsifiability and the Scientific Method. figshare. Report, 2019.

Texto completo

 El informe analiza el estado actual de la reproducibilidad en 2019, así como la importancia de la  falsabilidad*,  en el proceso de investigación. El análisis proviene de Ripeta Digital Science, cuyo objetivo es facilitar la mejora de la ciencia identificando y destacando las partes importantes de la investigación que deben ser presentadas de manera transparente en un manuscrito y otros materiales.

Los hallazgos clave del informe incluyen:

  • Todas las partes interesadas en la investigación tienen la responsabilidad de hacer que su trabajo sea reproducible y falsable. Reproducible: para que cualquiera pueda seguir el método indicado y llegar a las mismas conclusiones; y falsable: para que el método utilizado pueda probar adecuadamente la hipótesis.
  • Si bien no todos los materiales de investigación deben ser accesibles debido a la confidencialidad y/o el anonimato, lograr una transparencia adecuada es esencial para la reproducibilidad.
  • El trabajo de investigación debe ser una ruta para probar y recrear la investigación que se ha llevado a cabo. Esta es la base del método científico.
  • La falsedad es una parte integral del proceso de investigación. Añade credibilidad a la investigación y permite seguir trabajando sobre bases sólidas.
  • El establecimiento de un marco bien estructurado que permita evaluar la reproducibilidad, junto con la presentación de informes adecuados, permite reducir los obstáculos a la reutilización del trabajo científico, el apoyo a los resultados científicos y la evaluación de la calidad científica.
  • Una buena documentación de datos, que incluye el diseño de la investigación, la recolección de datos, la limpieza de datos y los análisis, conduce a una “buena” ciencia. La ciencia y la investigación bien documentadas permiten seguir avanzando gracias a la transparencia y a una documentación de datos adecuada.
  • Los informes de análisis de datos claros no sólo están relacionados, sino que son fundamentales para la práctica de la buena ciencia.
  • Mediante el suministro de código, la documentación de la versión de software utilizada y el almacenamiento de código para futuras referencias, la ciencia puede ser más precisa, más reproducible y más útil para los científicos dentro y entre dominios y geografías.
  • La comunidad científica necesita medios más rápidos y escalables para evaluar y mejorar la reproducibilidad. Una parte importante de esto es cambiar fundamentalmente la forma en que pensamos sobre la reproducibilidad. La dificultad es que, si bien todos tenemos una idea de lo que es la reproducibilidad en nuestros propios campos, la reproducibilidad como concepto no se traduce fácilmente entre campos.
  • Necesitamos estructurar nuestros procesos de investigación para automatizar la verificación del proceso en sí y alertarnos de los problemas cuando surjan. Esta nueva maquinaria de controles y contrapesos debe tener en cuenta tanto la falsificación como la reproducibilidad.

 

Falsable es decir, que se pueda refutar o desmentir: ha de tener falsabilidad

Plan 2.0 para el acceso abierto: ¿un plan o una nueva ambigüedad?

Publicado en THE Times Higher Education https://www.timeshighereducation.com/news/plan-s-20-open-access-plan-bold-may-prove-ineffective   El...