¿Es la inteligencia artificial generativa una aliada de la ciencia abierta?

Versión preprint publicada en IWETEL@listserv.rediris.es / ThinkEPI ThinkEPI <thinkepi@gmail.com>

La versión definitiva ha sido publicada en la revista Anuario ThinkEPI:
López-Borrull, A. (2024). ¿Es la inteligencia artificial generativa una aliada de la ciencia abierta?. Anuario ThinkEPI, 18. https://doi.org/10.3145/thinkepi.2024.e18a40

¿Es la inteligencia artificial generativa una aliada de la ciencia abierta?

Alexandre López-Borrull

https://www.directorioexit.info/ficha157

https://orcid.org/0000-0003-1609-2088

Universitat Oberta de Catalunya

alopezbo@uoc.edu 

Introducción

La especialización en nuestros campos científicos a menudo nos lleva a crear compartimentos estancos que separan nuestra realidad de nuestros contextos. Ante un punto de inflexión significativo, nos resulta difícil integrar este nuevo elemento en nuestro camino debido al desconocimiento o la inercia. Esto es particularmente evidente en el caso de la inteligencia artificial generativa (IAG), que se explora más como una herramienta que como un motor de cambio conceptual.

Este otoño intenté desafiar al asistente digital Copilot sobre la relación entre la ciencia abierta y la IAG. Reflexionando sobre las interacciones entre especies (mutualismo, parasitismo, depredación...), me pregunté cuál de estas relaciones podría aplicarse en este caso. Le pregunté específicamente quién se beneficiaba más de esta intersección, si la IAG o la ciencia abierta. Su respuesta, que inició la reflexión de este artículo, fue clara: "La intersección entre la IAG y la ciencia abierta ofrece beneficios significativos tanto para la IAG como para la ciencia abierta, pero en términos de quién se beneficia más, parece que la ciencia abierta obtiene las ventajas más sustanciales". ¿Es esto cierto o estamos pasando por alto algo en el camino?

En la revisión de la poca literatura existente sobre los desafíos y oportunidades que la IAG presenta para la ciencia abierta, se destacan algunas ideas. En primer lugar, muy recientemente Hosseini et al (2024) exploran tanto los impactos positivos como negativos de la IAG en las prácticas de la ciencia abierta. Los autores subrayan que, aunque puede simplificar conceptos científicos complejos y mejorar la gestión de datos y la programación,  la IAG también puede generar síntesis erróneas (las famosas alucinaciones), además de introducir inexactitudes en el código y producir informes de revisión superficiales, por lo que hace énfasis en la baja confianza en la creación de contenidos por parte de la IAG. Así, apuntan que aunque tiene el potencial de avanzar en objetivos compartidos con la ciencia abierta, también presenta riesgos significativos que deben ser considerados para no caer en la fe ciega de la nueva tecnología. Como en otros ámbitos, los autores apuntan a un escenario abierto con ventajas e inconvenientes por explorar.

Por otro lado, Acian et al (2023), se habían centrado en los desafíos éticos que la IAG planteaba para la ciencia abierta Los autores argumentan que la IAG puede causar discriminación y daños, contraviniendo los propios valores del movimiento por la ciencia abierta. Además, señalaron que la ciencia abierta proporciona datos abiertos de alta calidad que son utilizados por la IAG, lo que plantea el dilema de cómo compartir datos sin que sean utilizados de manera perjudicial. Así, proponen crear mecanismos de gobernanza para proteger el conocimiento como bien común y el derecho a la investigación como un derecho humano. Es interesante cómo la propia alimentación de la herramienta hace reflexionar sobre el público potencial de la compartición de artículos o datos, como algo que no se hubiera tenido en cuenta hasta ahora o se pudiera conectar o desconectar fácilmente, como un interruptor. Trataremos este asunto más adelante.

Finalmente, en un enfoque más práctico, Zhou (2024) aborda cómo la IAG puede ayudar a los editores a enfrentar sus desafíos en la transformación digital y el movimiento de la ciencia abierta. En este sentido, se destaca la utilización de la IAG para mejorar la visibilidad y accesibilidad de los contenidos, automatizar procesos editoriales, detectar problemas de integridad en la investigación, así como para diversificar las fuentes de ingresos. Como resumen, mientras algunos autores consideran la IAG como una herramienta para mejorar y hacer más eficiente la compartición de conocimiento, otros autores adoptan una perspectiva crítica sobre los riesgos éticos.

 

Ventajas e inconvenientes del uso de la IAG en ciencia abierta

Como comentábamos anteriormente, la relación entre estos dos conceptos puede compararse con las interacciones biológicas entre especies, como el parasitismo y el mutualismo. En un escenario de parasitismo, la IAG podría aprovecharse de los datos abiertos sin contribuir de vuelta, beneficiándose unilateralmente. Por otro lado, en un escenario de mutualismo, tanto la IAG como la ciencia abierta se benefician mutuamente: la IAG mejoraría gracias a los datos accesibles, y la ciencia abierta se enriquecería con nuevas herramientas y nuevos conocimientos facilitados por la IAG. Esta comparación ilustra la complejidad y el potencial de la interacción entre la IAG y la ciencia abierta, destacando la necesidad de un enfoque equilibrado y colaborativo. ¿No debíamos compartir sin filtro, no era eso la ciencia abierta? Sin duda, el punto crítico para que esta relación sea verdaderamente beneficiosa es que la IAG se desarrolle y utilice de manera ética y transparente, asegurando que los datos abiertos sean utilizados de manera responsable y que los resultados generados por la IAG  sean verificables y reproducibles. Y esto aunque no está asegurado, no debería ser según mi punto de vista, un motivo para cerrar contenidos sino para pedir más garantías y reflexión. Y más en un contexto donde la existencia de contenidos de calidad es básica en todos los entornos, ya sean sitios web o redes sociales, pero también repositorios académicos y servidores de preprints.

Sin duda, el beneficio mutuo pasaría por entender que la introducción de la IAG puede beneficiar al conocimiento científico si ayuda a mejorar su calidad, no su cantidad. Si consideramos que la IAG nos va a ayudar a crear más contenidos, más artículos, más datasets,..., tendremos mucha más ciencia abierta, pero no necesariamente mejor ciencia. Y aquí es donde se vislumbra el punto más importante. La ciencia abierta no es un fin por sí mismo sino un medio para mejorar el proceso de diseminación del conocimiento y por ende la propia ciencia. ¿Deberían las herramientas de IAG beber de repositorios y revistas científicas? Desde esta visión, sin duda. ¿Pueden existir riesgos éticos y legales? Sí, aquellos intrínsecos a la propia herramienta (sesgos, desinformación, incumplimiento de los derechos de autor), pero parece más una condición para el trabajo conjunto que para crear falsas barreras que pueden ser derivadas (vía Scihub, por ejemplo).

A nivel práctico, la IAG puede mejorar sin duda la gestión y el uso de datos de investigación abiertos. Herramientas basadas en IAG pueden ayudar en la creación de planes de gestión de datos, la validación y limpieza de datos, y la generación de metadatos. Esto facilita la reutilización y la interoperabilidad de los datos, siendo más FAIR que nunca. Al automatizar estos procesos, la IAG permite a los investigadores centrarse en tareas más creativas, aumentando la eficiencia y la productividad en la investigación científica. De nuevo, pero, esta eficiencia debe enfocarse en tener incentivos para mejorar los datos y filtrar aquellos que pueden aportar valor de los que no.

Sin embargo, todo lo expuesto anteriormente no omite que haya que considerar también otro posible aspecto negativo, que sería la posibilidad de que la IAG perpetúe y amplifique los sesgos existentes en los datos de entrenamiento. Si los modelos de IAG se entrenan con datos que contienen sesgos de género, raza o socioeconómicos, estos sesgos pueden reflejarse y amplificarse en los resultados generados. Nuestros sesgos creando nuevos sesgos. Esto no solo contraviene los principios de equidad y diversidad de la ciencia abierta, sino que también puede llevar a la exclusión de ciertos grupos y perspectivas en la investigación científica. Además, la falta de transparencia en los algoritmos y procesos de la IAG puede dificultar la identificación y corrección de estos sesgos.

Asimismo, debemos también considerar que la IAG puede facilitar la creación de contenido científico de baja calidad o incluso fraudulento. La capacidad de generar textos y artículos científicos de manera automática puede ser explotada por actores malintencionados para producir publicaciones falsas o de baja calidad, lo que aumenta el ruido en la literatura científica y dificulta la identificación de investigaciones válidas y relevantes. Esto puede afectar negativamente la visibilidad y la credibilidad de la ciencia abierta, ya que la proliferación de contenido de baja calidad puede desincentivar la participación y la colaboración en la comunidad científica. En resumen, aunque la IAG tiene el potencial de beneficiar a la ciencia abierta, también presenta riesgos significativos que deben ser gestionados cuidadosamente para evitar daños al movimiento.

Como hemos comentado anteriormente, la apertura de contenidos en el ámbito de la ciencia abierta mediante la IAG plantea importantes consideraciones éticas. En el caso de la IAG, la disponibilidad de grandes repositorios de datos puede mejorar la precisión y creatividad de los modelos, pero también plantea preguntas sobre la privacidad y el consentimiento de los datos utilizados. Es esencial establecer directrices claras sobre el uso y la distribución de datos en repositorios y revistas científicas, así como fomentar una cultura de responsabilidad y ética en la investigación.

La ética en la ciencia abierta y la IAG también implica considerar quién tiene acceso a estos recursos y cómo se utilizan. La idea de abrir contenidos a todo el mundo, pero no necesariamente a todas las inteligencias, plantea un dilema sobre la equidad y la justicia en la distribución del conocimiento. Si bien la ciencia abierta busca democratizar el acceso a la información, es crucial asegurarse de que este acceso no se limite a aquellos con las capacidades tecnológicas para aprovecharlo plenamente. Además, es importante reflexionar sobre cómo se pueden proteger los derechos de los individuos y las comunidades cuyos datos se utilizan en la investigación, garantizando que se respeten su privacidad y autonomía.

 

Conclusión

La aceleración tecnológica que implica la IAG tiene la capacidad de transformar el panorama científico. La tecnología permite la creación de plataformas más eficientes para compartir y acceder a datos científicos, lo que puede potenciar la colaboración y la innovación. Sin embargo, esta rápida evolución también puede generar una sobrecarga de información, creando una "burbuja de ruido documental" que dificulte la identificación de información relevante y de calidad. Parece oportuno en este sentido desarrollar estrategias para gestionar este flujo de datos y garantizar que la ciencia abierta mantenga su objetivo de mejorar la calidad y accesibilidad de la investigación científica. La integración de la IAG en estos procesos puede ser una herramienta valiosa, siempre y cuando se utilice de manera ética y responsable, preservando el espíritu original de la ciencia abierta: hacer la ciencia más accesible y colaborativa, no simplemente aumentar la cantidad de información disponible. Dicha aceleración y ahorro de tiempo no debería usarse para generar más contenidos, sino mejor conocimiento.

En conclusión, la relación entre la ciencia abierta y la IAG como se ha visto puede definirse como incipiente, compleja, llena de potencial, matices y riesgos. La IAG tiene el potencial de transformar la manera en que se produce y se comparte el conocimiento, pero es crucial abordar las consideraciones éticas y gestionar adecuadamente la aceleración tecnológica para asegurar que estos avances beneficien adecuadamente a la comunidad científica y a la sociedad en general. La ciencia abierta debe seguir promoviendo la transparencia, la colaboración y la accesibilidad, integrando de manera responsable cualquier nueva tecnología para cumplir con su misión de mejorar la ciencia, para tod@s, para siempre.

 

Referencias bibliográficas

 

Acion, L., Rajngewerc, M., Randall, G.; Etcheverry, L. (2023). Generative AI poses ethical challenges for open science. Nat Hum Behav 7, 1800–1801 (2023). https://doi.org/10.1038/s41562-023-01740-4

 

Hosseini, M.; Horbach, S.P.J.M; Holmes, K.; Ross-Hellauer, T. (2024). Open Science at the generative AI turn: An exploratory analysis of challenges and opportunities. Quantitative Science Studies 2024; https://doi.org/10.1162/qss_a_00337 

 

Zhou, H. (2024). The Top Ten Challenges, Needs, and Goals of Publishers – and How AI Can Help in Digital Transformation and the Open Science Movement https://scholarlykitchen.sspnet.org/2024/11/05/the-top-ten-challenges-needs-and-goals-of-publishers-and-how-ai-can-help-in-digital-transformation-and-the-open-science-movement/

*************************

Natalia Arroyo, directora
Isabel Olea, coordinadora

Anuario ThinkEPI 2024
thinkepi@gmail.com
https://thinkepi.scimagoepi.com

Recompensas, incentivos y/o reconocimientos para los investigadores que practican la Ciencia Abierta

Publicado en blog Universo abierto

https://universoabierto.org/2019/10/14/recompensas-incentivos-y-o-reconocimientos-para-los-investigadores-que-practican-la-ciencia-abierta/?fbclid=IwY2xjawF6lAFleHRuA2FlbQIxMQABHewPgpPJQ15lsrJ11mZKZ-JLeqq500hnq_TO7xshdLJTszi2BKTcrNtM_g_aem_fBEst-jW7wDzOxoT_55RtQ&sfnsn=scwspwa

Recompensas, incentivos y/o reconocimientos para los investigadores que practican la Ciencia Abierta

 

Evaluation of Research Careers fully acknowledging Open Science Practices: Rewards, incentives and/or recognition for researchers practicing Open Science. Brussels: European Commission, 2017

Texto completo

 

La Ciencia Abierta representa un enfoque de la investigación que es colaborativo, transparente y accesible. Hay una amplia gama de actividades que entran bajo el paraguas de la Ciencia Abierta que incluyen publicación de acceso abierto, datos abiertos, revisión abierta por pares e investigación abierta. También incluye a los ciudadanos la ciencia o, en términos más generales, la participación de las partes interesadas, cuando los no especialistas se dedican directamente a investigación. La Ciencia Abierta va de la mano con la integridad de la investigación y requiere de un marco legal y ético. la sensibilización de los investigadores. Un factor impulsor de la Ciencia Abierta es la mejora de la transparencia y la la validez de la investigación, así como en lo que respecta a la propiedad pública de la ciencia, en particular la que es financiada con fondos públicos.

Los investigadores de toda Europa ya practican hasta cierto punto la Ciencia Abierta, por ejemplo, a través de acceso abierto a sus publicaciones. Algunos ya proporcionan datos abiertos, participan en revisiones abiertas por pares, y el compromiso de las partes interesadas o de la ciencia ciudadana. Los investigadores avanzan en su carrera a través de y este es el factor clave para asegurar que la Ciencia Abierta se convierta en una corriente dominante. El uso exclusivo de parámetros bibliométricos como indicadores de excelencia en la evaluación por parte de la mayoría de los financiadores y universidades/organizaciones de investigación no facilita la Ciencia Abierta. El compromiso con la Ciencia Abierta aumentará a través de estímulos e incentivos por parte de los empleadores y financiadores a través de la evaluación.

La Ciencia Abierta ofrece a los investigadores los medios para una mayor transparencia, reproducibilidad, difusión y transferencia de nuevos conocimientos. El sistema operativo proporciona un mayor acceso a datos y publicaciones que pueden mejorar la eficacia y el aumento de la productividad de los investigadores (lo que permite más investigación a partir de los mismos datos). En un entorno abierto puede haber una verificación más precisa de los resultados de la investigación. Estos son ejemplos de buenas razones para que los investigadores practiquen la Ciencia Abierta.

BRASIL tiene las revistas más alineadas con la Ciencia Abierta en Iberoamérica

Publicado en Learned Publishing
https://onlinelibrary.wiley.com/doi/full/10.1002/leap.1616 

Nota en blog SciELO en Perspectiva:

Estudio bibliométrico sobre adopción de prácticas de ciencia abierta revela altos puntajes tanto en revistas de Brasil como en revistas indexadas SciELO
https://blog.scielo.org/es/2024/07/03/estudio-adopcion-practicas-de-ca-revistas-de-brasil-y-scielo/

Estudo bibliométrico sobre a adoção de práticas de ciência aberta revela altas pontuações para periódicos do Brasil e periódicos indexados no SciELO
https://blog.scielo.org/blog/2024/07/03/estudo-adocao-de-praticas-ca-periodicos-do-brasil-e-scielo/

Bibliometric study on the adoption of open science measures reveals high scores for both Brazilian and SciELO-indexed journals
https://blog.scielo.org/en/2024/07/03/study-adoption-os-measures-brazilian-and-scielo-indexed-journals/

La promoción y aplicación de medidas de ciencia abierta entre las revistas de alto rendimiento de Brasil, México, Portugal y España

Chris Fradkin,* y Rogério Mugnaini

Facultad de Comunicación y Artes, Universidad de São Paulo, São Paulo, Brasil

ORCID:

C. Fradkin: 0000-0002-8195-269X

R. Mugnaini: 0000-0001-9334-3448

*Autor correspondiente: C. Fradkin, Facultad de Comunicación y Artes, Universidad de São Paulo, Av. Prof. Lúcio Martins Rodrigues 443 - Butantã,

05508-020, São Paulo, Brasil.

Correo electrónico: chrisfradkin@gmail.com  

Resumen: Este estudio examinó empíricamente la promoción y aplicación de medidas de ciencia abierta entre las revistas de alto rendimiento de Brasil, México, Portugal y España. La política de las revistas relacionada con el intercambio de datos, el intercambio de materiales, el prerregistro, la revisión por pares abierta y la consideración de preprints y estudios de replicación se recopiló de los sitios web de las revistas. Se codificaron 400 artículos para la inclusión de declaraciones de disponibilidad de datos, divulgación de conflictos de intereses, divulgación de financiación, DOI, ORCID y publicación continua. Los análisis hallaron una mayor promoción de las medidas de ciencia abierta entre las revistas brasileñas que entre sus homólogas portuguesas, y una mayor promoción de las medidas de ciencia abierta entre las revistas internacionales que entre sus homólogas nacionales. Los análisis encontraron una mayor implementación de medidas de ciencia abierta entre las revistas brasileñas que entre sus homólogas portuguesas y mexicanas. Una de cada 40 revistas fomentaba el prerregistro de estudios; ninguna fomentaba los estudios de replicación y ninguna había implementado la revisión abierta por pares. Estos resultados revelan una implementación razonablemente fuerte de las medidas secundarias de ciencia abierta (por ejemplo, DOI, ORCID, conflicto de intereses y divulgación de la fuente de financiación) entre la muestra, pero una implementación más débil de las medidas primarias (por ejemplo, datos abiertos, materiales abiertos, estudios de replicación y revisión por pares abierta). Se consideran las implicaciones de estos resultados y se hacen sugerencias para reforzar la adopción de medidas de ciencia abierta entre las revistas científicas iberoamericanas.

Palabras clave: Iberoamérica, ciencia abierta, SciELO, rigor científico,

transparencia 

Puntos clave

- La aplicación de medidas de ciencia abierta refuerza la transparencia y el rigor de las publicaciones científicas.

- Se analizaron cuarenta de las revistas mejor clasificadas de Brasil, México, Portugal y España para determinar su promoción y aplicación de medidas de ciencia abierta.

- El análisis de la política de las revistas en relación con la promoción de medidas de ciencia abierta reveló una mayor promoción entre las revistas brasileñas que entre sus homólogas portuguesas, y una mayor promoción entre las revistas internacionales que entre sus homólogas nacionales.

- El análisis de la implementación de medidas de ciencia abierta entre 400 artículos de la muestra reveló una mayor implementación de medidas de ciencia abierta entre las revistas brasileñas que entre sus homólogas portuguesas y mexicanas.

- Las revistas comprometidas con el aumento de la promoción y la aplicación de medidas de ciencia abierta pueden hacerlo con un mínimo de tiempo y esfuerzo. 

DISCUSIÓN

Este estudio es el primero del que tenemos conocimiento que examina empíricamente la promoción e implantación de medidas de SG entre las revistas iberoamericanas. Parcialmente consistente con la Hipótesis 1 es el hallazgo de que la promoción e implementación de medidas de SG fue mayor entre las revistas brasileñas que entre sus homólogas mexicanas y portuguesas. Entre las medidas específicas, la promoción de materiales abiertos y la implementación de la publicación continua fue mayor entre las revistas brasileñas que entre sus homólogas mexicanas y portuguesas. 

Inconsistente con la Hipótesis 2 es el hallazgo de que la promoción e implementación de medidas de Ciencia Abierta (CA) fue mayor entre las revistas internacionales que entre sus homólogas nacionales, aunque las revistas indexadas en SciELO fueron superiores en la promoción de preprints que en la de preprints. en la promoción de preprints que sus homólogas nacionales y superiores a las internacionales en la implementación de identificadores ORCID. Inconsistente con la hipótesis 3 es el hallazgo de que la promoción e implementación de medidas de CA no varía en función del idioma de publicación. No concuerda con la hipótesis 4 el hallazgo de que la promoción y aplicación de medidas de SO no varía según el campo temático de la investigación, aunque las revistas de ciencias sociales fueron inferiores en su promoción de preprints y en la aplicación de la publicación continua que sus homólogas de ciencias de la salud. 

SciELO

Entre la muestra, hay siete revistas indexadas en SciELO (cinco con sede en Brasil y dos en México), lo que puede explicar el fuerte desempeño de las revistas brasileñas. Desde 2019, SciELO (2021, 2023) ha promovido las prácticas de CA a través de sus líneas de acción prioritarias, y las 319 revistas indexadas en SciELO de Brasil pueden haberse beneficiado más de este programa que sus contrapartes menos representadas (SciELO: México: 162; Portugal: 59; España: 46). Futuros estudios podrían explorar la influencia de SciELO en la promoción e implementación de medidas de CA entre una muestra de revistas indexadas en SciELO y un grupo de control de sus homólogas no indexadas en SciELO. 

Rendimiento

El bajo rendimiento de las revistas portuguesas parece estar asociado a la elevada prevalencia (70%) de revistas de ciencias sociales en este grupo (véase el cuadro 6). Por el contrario, el mayor rendimiento de las revistas brasileñas y españolas parece estar asociado a la mayor prevalencia de revistas de salud en estos grupos (80% y 60%, respectivamente). Curiosamente, las dos revistas con menor puntuación en el estudio son portuguesas y del ámbito de las ciencias sociales. Por el contrario, la revista con mayor puntuación en el estudio era de Brasil y del ámbito de la salud. Estas asociaciones son coherentes con los estudios que citan un menor apoyo a la OS entre las revistas del campo de las ciencias sociales (Karhulahti & Backe, 2021;Packer, 2020; Watchorn, 2022). Un estudio de Mugnaini et al. (2021), por ejemplo, observó una prevalencia significativamente mayor de DOI en las referencias bibliográficas de las revistas de ciencias de la salud y ciencias duras que en las de ciencias sociales y humanidades. Esto es independiente del hecho de que los investigadores de las ciencias sociales tienden a publicar con más frecuencia en libros que sus homólogos de las ciencias de la salud y duras (Mueller, 2005; Sivertsen, 2019); y de que los libros tienen una menor prevalencia de DOI que las publicaciones en revistas (Gorraiz et al., 2016) 

En el conjunto de la muestra, la implantación de medidas de CA (31,7%) fue ligeramente superior a la promoción de medidas de CA (28,5%). Una revista de 40 fomentaba el prerregistro de estudios; ninguna fomentaba los estudios de replicación y ninguna había implementado la revisión abierta por pares. La revista con mayor puntuación, Diabetology & Metabolic Syndrome, del ámbito de la salud, promovió tres de las cinco medidas de CA e implementó cinco de las siete medidas de CA. Por el contrario, las revistas con menor puntuación, IJISPM-International Journal of Information Systems and Project Management y Tourism & Management Studies, ambas de la categoría de ciencias sociales, no promovieron ni aplicaron ninguna de las medidas de CA que examinamos. Los malos resultados de estas dos revistas de ciencias sociales contribuyeron a los malos resultados de Portugal en general.

Cierre

Este estudio es el primer examen bibliométrico de la promoción e implementación de medidas de CA entre las revistas científicas iberoamericanas. Mientras que los resultados revelan una implementación consistente de varias medidas secundarias de CA (por ejemplo, DOI, ORCID, conflicto de intereses y divulgación de la fuente de financiación), revelan una implementación esporádica de medidas críticas de CA (por ejemplo, declaraciones de datos abiertos, declaraciones de materiales abiertos, fomento de estudios de replicación, revisión por pares abierta). Los editores de revistas son los guardianes de la expansión de las medidas de CA; ellos deciden si los identificadores ORCID son un requisito para la presentación de manuscritos. Tienen el poder de exigir una declaración de disponibilidad de datos como condición para la presentación de manuscritos. Reconocemos que otras prácticas de CA, como la revisión abierta por pares, requerirán más debate antes de su aplicación. Mientras tanto, sin embargo, hay mucho trabajo por hacer, ya que las revistas iberoamericanas, y sus homólogas no iberoamericanas, hacen ajustes en su maquinaria editorial para cumplir con las normas del movimiento CA.

*************************************

The promotion and implementation of open science measures among high-performing journals from Brazil, Mexico, Portugal, and Spain

Chris Fradkin,* and Rogério Mugnaini

School of Communication and Arts, University of  São Paulo, São Paulo, Brazil

ORCID:
C. Fradkin: 0000-0002-8195-269X

R. Mugnaini: 0000-0001-9334-3448

*Corresponding author: Chris Fradkin, School of Communication and Arts, University of São Paulo, Av. Prof. Lúcio Martins Rodrigues 443 - Butantã,

05508-020, São Paulo, Brazil.

E-mail: chrisfradkin@gmail.com 

Abstract: This study empirically examined the promotion and implementation of open science measures among high-performing journals of Brazil, Mexico, Portugal, and Spain. Journal policy related to data sharing, materials sharing, preregistration, open peer review, and consideration of preprints and replication studies was gathered from the websites of the journals. Four hundred articles were coded for the inclusion of data availability statements, conflict of interest disclosures, funding disclosures, DOI, ORCID, and continuous publishing. Analyses found a higher promotion of open science measures among Brazilian journals than their Portuguese counterparts, and higher promotion of open science measures among international journals than their domestic counterparts. Analyses found higher implementation of open science measures among Brazilian journals than their Portuguese and Mexican counterparts. One journal out of 40 encouraged preregistration of studies; none encouraged replication studies and none had implemented open peer review. These findings reveal reasonably strong implementation of secondary open science measures (e.g., DOI, ORCID, conflict of interest and funding source disclosure) among the sample, but weaker implementation of primary measures

(e.g., open data, open materials, replication studies and open peer review).

The implications of these findings are considered and suggestions are made to bolster the adoption of open science measures among Ibero-American scientific journals.

Keywords: Ibero-American, open science, SciELO, scientific rigour,

transparency 

Key points

• The implementation of open science measures bolsters the transparency and rigour of scientific publications.

• Forty of the highest ranked journals of Brazil, Mexico, Portugal, and Spain were analysed to determine their promotion and implementation of open science measures.

• Analysis of journal policy related to the promotion of open science measures revealed higher promotion among Brazilian journals than their Portuguese counterparts, and higher promotion among international journals than their domestic counterparts.

• Analysis of the implementation of open science measures among 400 articles from the sample revealed higher implementation of open science measures among Brazilian journals than their Portuguese and Mexican counterparts.

• Journals committed to increasing their promotion and implementation of open science measures can do so with a minimum amount of time and effort.  

DISCUSSION

This study is the first we are aware of that empirically examined the promotion and implementation of OS measures among Ibero-American journals. Partially consistent with Hypothesis 1 is the finding that the promotion and implementation of OS measures

was higher among Brazilian journals than their Mexican and Portuguese counterparts. Among specific measures, the promotion of open materials and the implementation of continuous publishing was higher among Brazilian journals than their Mexican and

Portuguese counterparts, respectively. Inconsistent with Hypothesis 2 is the finding that the promotion and implementation of OS measures was higher among international journals than their domestic counterparts, although SciELO-indexed journals were

higher in their promotion of preprints than their domestic counterparts and higher than international journals in their implementation of ORCID identifiers. Inconsistent with Hypothesis 3 is the finding that the promotion and implementation of OS measures

does not vary according to publication language. Inconsistent with Hypothesis 4 is the finding that the promotion and implementation of OS measures does not vary across research subject field, although social science journals were lower in their promo-

tion of preprints and their implementation of continuous publishing than their health science counterparts.  

SciELO

Among the sample, there are seven SciELO-indexed journals (five based in Brazil and two in Mexico), which may explain the strong performance of the Brazilian journals. Since 2019, SciELO (2021, 2023) has promoted OS practices through its Priority lines of action, and Brazil’s 319 SciELO-indexed journals may have benefited more from this programme than their lesser- represented counterparts (SciELO: Mexico: 162; Portugal: 59; Spain: 46). Future studies could explore the influence of SciELO on the promotion and implementation of OS measures among a sample of SciELO-indexed journals and a control group of their

non-SciELO-indexed counterparts.  

Performance

The weak performance of the Portuguese journals appears to be associated with the high prevalence (70%) of social science journals in this group (see Table 6). By contrast, the stronger performance of the Brazilian and Spanish journals appears to be associated with the higher prevalence of health journals in these groups (80% and 60%, respectively). Interestingly, the two lowest scoring journals in the study were from Portugal and in the social science field. Conversely, the highest scoring journal in the study was from Brazil and in the health field. These associations are consistent with studies citing lagging support for OS among journals in the social science field (Karhulahti & Backe, 2021;Packer, 2020; Watchorn, 2022). A study by Mugnaini et al. (2021), for example, noted a significantly higher prevalence of DOIs in the bibliographical references of journals from the health and hard sciences than those from the social sciences and humanities. This is independent of the fact that researchers from the social sciences tend to publish more frequently in books than their health and hard science counterparts (Mueller, 2005; Sivertsen, 2019); and that books have a lower prevalence of DOIs than journal publications (Gorraiz et al., 2016)  

Among the sample as a whole, implementation of OS measures (31.7%) was slightly higher than promotion of OS measures (28.5%). One journal out of 40 encouraged preregistration of studies; none encouraged replication studies and none had implemented open peer review. The highest scoring journal, Diabetology & Metabolic Syndrome, from the health field, promoted three of the five OS measures and implemented five of the seven OS measures. By contrast, the lowest scoring journals, IJISPM—International Journal of Information Systems and Project Management and Tourism & Management Studies, both from the social sciences category, promoted and implemented none of the OS measures we examined. The poor performance of these two social science journals contributed to the poor performance of Portugal overall.  

Closing

This study is the first bibliometric examination of the promotion and implementation of OS measures among Ibero-American scientific journals. While the findings reveal consistent implementation of several secondary OS measures (e.g., DOI, ORCID, conflict of interest and funding source disclosure), they reveal sporadic implementation of critical OS measures (e.g., open data statements, open materials statements, encouragement of replication studies, open peer review). Journal publishers are the gatekeepers in the expansion of OS measures; they decide whether ORCID identifiers are a requirement for manuscript submission. They have the power to require a data availability statement as a condition of manuscript submission. We acknowledge that other OS practices, such as open peer review, will require more discussion before they are implemented. In the meantime, however, there is much work to be done, as Ibero-American journals, and their non-Ibero-American counterparts, make adjustments in their publishing machinery to meet the standards of the OS movement.

*****************************