Publicado en blog Universo Abierto
https://universoabierto.org/2024/07/02/un-nuevo-indicador-de-ciencia-abierta-medicion-del-registro-de-estudios/
PLOS. (2024, julio 1). A new Open Science Indicator: Measuring study registration. The Official PLOS Blog. https://theplosblog.plos.org/2024/07/a-new-open-science-indicator-measuring-study-registration/
El 1 de julio de 2024, PLOS lanzó un nuevo indicador de registro de estudios, mostrando un crecimiento lento pero constante en su adopción. El conjunto de datos incluye prácticas de Ciencia Abierta como la compartición de datos y códigos, y la publicación de preprints. Se solicita retroalimentación para mejorar el indicador y asegurar su utilidad.
Con el último lanzamiento de los resultados de los Indicadores de Ciencia Abierta (OSI) de PLOS, estamos introduciendo un nuevo indicador para el registro de estudios, también conocido como preregistro. Los resultados de esta versión preliminar del indicador muestran que la adopción es menor en comparación con otros indicadores, pero está creciendo, aunque lentamente. Con el tiempo, más investigadores pueden descubrir cómo registrar y compartir públicamente el diseño de un estudio antes de conocer los resultados puede aumentar la confianza en su trabajo.
Este lanzamiento también proporciona un primer vistazo a las prácticas de Ciencia Abierta para artículos publicados en 2024, actualizando los resultados de compartición de datos, compartición de código y publicación de preprints hasta el primer trimestre de este año. El conjunto de datos completo, que se remonta a 2018 y ahora comprende 135.214 artículos, está siempre disponible de forma gratuita para acceso y reutilización.
Desarrollo del nuevo indicador
El registro de estudios ha sido identificado como una práctica prioritaria de Ciencia Abierta para monitorear en la investigación biomédica. También es un indicador de interés para los pilotos organizados por la Red de Reproducibilidad del Reino Unido, en los cuales PLOS y DataSeer están participando. Para los fines de OSI, definiendo el registro de estudios como “el plan para un estudio de investigación, incluyendo preguntas/hipótesis de investigación, detalles sobre el diseño de la investigación y/o planes para el análisis de datos, que se ha puesto a disposición para compartir públicamente con el fin de asegurar un resultado imparcial y apoyar la diferenciación de direcciones de investigación planificadas y no planificadas”.
Desde ahí, se trabaja para desarrollar un enfoque para medir el registro de estudios en la literatura científica publicada. Inicialmente se enfoca en detectar referencias a registros que recogen información estructurada sobre el diseño de un estudio, incluyendo registros de ensayos clínicos, registros de revisiones sistemáticas, registros de estudios en animales y otros registros de propósito general como Open Science Framework. Posteriormente, se emparejan identificadores persistentes y otros enlaces con los registros correspondientes.
Este enfoque—que cubre más de 30 registros—es el más completo que se ha desarrollado e implementado a escala. Pero, debido a que se basa en una lista permitida predefinida de registros (ver la declaración de métodos del indicador de registro de estudios para más información), es posible que haya registros que se pasen por alto.
¿Qué tan común es el registro de estudios?
En los últimos cinco años, las tasas de registro de estudios en PLOS han aumentado lenta pero constantemente, del 5% de los artículos en 2018 al 7% en 2023. La misma tendencia general se puede observar en el corpus comparador, con tasas que aumentan del 6% en 2018 al 7% en 2023.
El registro más utilizado por los autores de PLOS es Clinicaltrials.gov, seguido por el registro de revisiones sistemáticas PROSPERO. Pero también se puede observar por primera vez con este nuevo indicador la prevalencia de registros usando el Open Science Framework y otros registros, que cubren una amplia variedad de diseños de estudio. Los datos que se están publicando actualmente no están optimizados para segmentar por disciplina, aunque una versión anterior del conjunto de datos de OSI incluye campos de investigación para la mayoría de los artículos relevantes y planeamos compartir un análisis de los datos de registro de estudios por campo más adelante este año. Otras características que estamos considerando para este indicador incluyen detectar registros en el texto de archivos suplementarios y capturar las fechas en que se registraron y compartieron los registros.
Otros resultados y refinamientos
Los principales archivos de datos en el último conjunto de datos de OSI incluyen todos los 112,229 artículos de investigación de PLOS publicados entre el 1 de enero de 2018 y el 31 de marzo de 2024, así como un corpus comparador más pequeño. Para los artículos de PLOS, los últimos resultados muestran:
- 31% de todos los artículos de investigación compartieron datos de investigación en un repositorio en el primer trimestre de 2024 (sin cambios desde el cuarto trimestre de 2023).
- 17% de todos los artículos de investigación compartieron código en el primer trimestre de 2024 (un 1% más que en el cuarto trimestre de 2023).
- 22% de todos los artículos de investigación estuvieron asociados con un preprint en el primer trimestre de 2024 (un 2% menos que en el cuarto trimestre de 2023).
La tasa de adopción de preprints en los comparadores ha sido mayor que en PLOS desde 2023, impulsada por editores con servidores de preprints internos, pero esta tasa también disminuyó en los comparadores en el primer trimestre de 2024, lo que sugiere una tendencia más amplia. Mientras tanto, se han aplicado mejoras al indicador de preprints y se han aplicado retroactivamente a todo el corpus. Se ha eliminado una fuente menor de falsos positivos y, de manera más significativa, se han eliminado los preprints publicados después de que se publicó el artículo de investigación asociado (también conocidos como “postprints”). Este cambio afecta desproporcionadamente a los artículos más antiguos, que han tenido más tiempo para acumular un postprint.
También se ha actualizado el enfoque de emparejamiento de artículos comparadores. Para esta última versión, los términos de encabezados de materias médicas (MeSH) para el nuevo trimestre de datos se han actualizado según la distribución de términos MeSH para los artículos de PLOS publicados entre el 1 de enero de 2022 y el 31 de diciembre de 2023. Se espera actualizar la distribución de términos MeSH anualmente para asegurar que la comparativa siga siendo comparable a la composición cambiante de los artículos de PLOS.
