Publicado en Learned Publishing
https://onlinelibrary.wiley.com/doi/full/10.1002/leap.1616
Nota en blog SciELO en Perspectiva:
https://blog.scielo.org/es/2024/07/03/estudio-adopcion-practicas-de-ca-revistas-de-brasil-y-scielo/
Estudo bibliométrico sobre a adoção de práticas de ciência aberta revela altas pontuações para periódicos do Brasil e periódicos indexados no SciELO
https://blog.scielo.org/blog/2024/07/03/estudo-adocao-de-praticas-ca-periodicos-do-brasil-e-scielo/
Bibliometric study on the adoption of open science measures reveals high scores for both Brazilian and SciELO-indexed journals
https://blog.scielo.org/en/2024/07/03/study-adoption-os-measures-brazilian-and-scielo-indexed-journals/
La promoción y aplicación de medidas de ciencia abierta entre las revistas de alto rendimiento de Brasil, México, Portugal y España
Chris Fradkin,* y Rogério Mugnaini
Facultad de Comunicación y Artes, Universidad de São Paulo, São Paulo, Brasil
ORCID:
C. Fradkin: 0000-0002-8195-269X
R. Mugnaini: 0000-0001-9334-3448
*Autor correspondiente: C. Fradkin, Facultad de Comunicación y Artes, Universidad de São Paulo, Av. Prof. Lúcio Martins Rodrigues 443 - Butantã,
05508-020, São Paulo, Brasil.
Correo electrónico: chrisfradkin@gmail.com
Resumen: Este estudio examinó empíricamente la promoción y aplicación de medidas de ciencia abierta entre las revistas de alto rendimiento de Brasil, México, Portugal y España. La política de las revistas relacionada con el intercambio de datos, el intercambio de materiales, el prerregistro, la revisión por pares abierta y la consideración de preprints y estudios de replicación se recopiló de los sitios web de las revistas. Se codificaron 400 artículos para la inclusión de declaraciones de disponibilidad de datos, divulgación de conflictos de intereses, divulgación de financiación, DOI, ORCID y publicación continua. Los análisis hallaron una mayor promoción de las medidas de ciencia abierta entre las revistas brasileñas que entre sus homólogas portuguesas, y una mayor promoción de las medidas de ciencia abierta entre las revistas internacionales que entre sus homólogas nacionales. Los análisis encontraron una mayor implementación de medidas de ciencia abierta entre las revistas brasileñas que entre sus homólogas portuguesas y mexicanas. Una de cada 40 revistas fomentaba el prerregistro de estudios; ninguna fomentaba los estudios de replicación y ninguna había implementado la revisión abierta por pares. Estos resultados revelan una implementación razonablemente fuerte de las medidas secundarias de ciencia abierta (por ejemplo, DOI, ORCID, conflicto de intereses y divulgación de la fuente de financiación) entre la muestra, pero una implementación más débil de las medidas primarias (por ejemplo, datos abiertos, materiales abiertos, estudios de replicación y revisión por pares abierta). Se consideran las implicaciones de estos resultados y se hacen sugerencias para reforzar la adopción de medidas de ciencia abierta entre las revistas científicas iberoamericanas.
Palabras clave: Iberoamérica, ciencia abierta, SciELO, rigor científico,
transparencia
Puntos clave
- La aplicación de medidas de ciencia abierta refuerza la transparencia y el rigor de las publicaciones científicas.
- Se analizaron cuarenta de las revistas mejor clasificadas de Brasil, México, Portugal y España para determinar su promoción y aplicación de medidas de ciencia abierta.
- El análisis de la política de las revistas en relación con la promoción de medidas de ciencia abierta reveló una mayor promoción entre las revistas brasileñas que entre sus homólogas portuguesas, y una mayor promoción entre las revistas internacionales que entre sus homólogas nacionales.
- El análisis de la implementación de medidas de ciencia abierta entre 400 artículos de la muestra reveló una mayor implementación de medidas de ciencia abierta entre las revistas brasileñas que entre sus homólogas portuguesas y mexicanas.
- Las revistas comprometidas con el aumento de la promoción y la aplicación de medidas de ciencia abierta pueden hacerlo con un mínimo de tiempo y esfuerzo.
DISCUSIÓN
Este estudio es el primero del que tenemos conocimiento que examina empíricamente la promoción e implantación de medidas de SG entre las revistas iberoamericanas. Parcialmente consistente con la Hipótesis 1 es el hallazgo de que la promoción e implementación de medidas de SG fue mayor entre las revistas brasileñas que entre sus homólogas mexicanas y portuguesas. Entre las medidas específicas, la promoción de materiales abiertos y la implementación de la publicación continua fue mayor entre las revistas brasileñas que entre sus homólogas mexicanas y portuguesas.
Inconsistente con la Hipótesis 2 es el hallazgo de que la promoción e implementación de medidas de Ciencia Abierta (CA) fue mayor entre las revistas internacionales que entre sus homólogas nacionales, aunque las revistas indexadas en SciELO fueron superiores en la promoción de preprints que en la de preprints. en la promoción de preprints que sus homólogas nacionales y superiores a las internacionales en la implementación de identificadores ORCID. Inconsistente con la hipótesis 3 es el hallazgo de que la promoción e implementación de medidas de CA no varía en función del idioma de publicación. No concuerda con la hipótesis 4 el hallazgo de que la promoción y aplicación de medidas de SO no varía según el campo temático de la investigación, aunque las revistas de ciencias sociales fueron inferiores en su promoción de preprints y en la aplicación de la publicación continua que sus homólogas de ciencias de la salud.
SciELO
Entre la muestra, hay siete revistas indexadas en SciELO (cinco con sede en Brasil y dos en México), lo que puede explicar el fuerte desempeño de las revistas brasileñas. Desde 2019, SciELO (2021, 2023) ha promovido las prácticas de CA a través de sus líneas de acción prioritarias, y las 319 revistas indexadas en SciELO de Brasil pueden haberse beneficiado más de este programa que sus contrapartes menos representadas (SciELO: México: 162; Portugal: 59; España: 46). Futuros estudios podrían explorar la influencia de SciELO en la promoción e implementación de medidas de CA entre una muestra de revistas indexadas en SciELO y un grupo de control de sus homólogas no indexadas en SciELO.
Rendimiento
El bajo rendimiento de las revistas portuguesas parece estar asociado a la elevada prevalencia (70%) de revistas de ciencias sociales en este grupo (véase el cuadro 6). Por el contrario, el mayor rendimiento de las revistas brasileñas y españolas parece estar asociado a la mayor prevalencia de revistas de salud en estos grupos (80% y 60%, respectivamente). Curiosamente, las dos revistas con menor puntuación en el estudio son portuguesas y del ámbito de las ciencias sociales. Por el contrario, la revista con mayor puntuación en el estudio era de Brasil y del ámbito de la salud. Estas asociaciones son coherentes con los estudios que citan un menor apoyo a la OS entre las revistas del campo de las ciencias sociales (Karhulahti & Backe, 2021;Packer, 2020; Watchorn, 2022). Un estudio de Mugnaini et al. (2021), por ejemplo, observó una prevalencia significativamente mayor de DOI en las referencias bibliográficas de las revistas de ciencias de la salud y ciencias duras que en las de ciencias sociales y humanidades. Esto es independiente del hecho de que los investigadores de las ciencias sociales tienden a publicar con más frecuencia en libros que sus homólogos de las ciencias de la salud y duras (Mueller, 2005; Sivertsen, 2019); y de que los libros tienen una menor prevalencia de DOI que las publicaciones en revistas (Gorraiz et al., 2016)
En el conjunto de la muestra, la implantación de medidas de CA (31,7%) fue ligeramente superior a la promoción de medidas de CA (28,5%). Una revista de 40 fomentaba el prerregistro de estudios; ninguna fomentaba los estudios de replicación y ninguna había implementado la revisión abierta por pares. La revista con mayor puntuación, Diabetology & Metabolic Syndrome, del ámbito de la salud, promovió tres de las cinco medidas de CA e implementó cinco de las siete medidas de CA. Por el contrario, las revistas con menor puntuación, IJISPM-International Journal of Information Systems and Project Management y Tourism & Management Studies, ambas de la categoría de ciencias sociales, no promovieron ni aplicaron ninguna de las medidas de CA que examinamos. Los malos resultados de estas dos revistas de ciencias sociales contribuyeron a los malos resultados de Portugal en general.
Cierre
Este estudio es el primer examen bibliométrico de la promoción e implementación de medidas de CA entre las revistas científicas iberoamericanas. Mientras que los resultados revelan una implementación consistente de varias medidas secundarias de CA (por ejemplo, DOI, ORCID, conflicto de intereses y divulgación de la fuente de financiación), revelan una implementación esporádica de medidas críticas de CA (por ejemplo, declaraciones de datos abiertos, declaraciones de materiales abiertos, fomento de estudios de replicación, revisión por pares abierta). Los editores de revistas son los guardianes de la expansión de las medidas de CA; ellos deciden si los identificadores ORCID son un requisito para la presentación de manuscritos. Tienen el poder de exigir una declaración de disponibilidad de datos como condición para la presentación de manuscritos. Reconocemos que otras prácticas de CA, como la revisión abierta por pares, requerirán más debate antes de su aplicación. Mientras tanto, sin embargo, hay mucho trabajo por hacer, ya que las revistas iberoamericanas, y sus homólogas no iberoamericanas, hacen ajustes en su maquinaria editorial para cumplir con las normas del movimiento CA.
*************************************
The promotion and implementation of open science measures among high-performing journals from Brazil, Mexico, Portugal, and Spain
Chris Fradkin,* and Rogério Mugnaini
School of Communication and Arts, University of São Paulo, São Paulo, Brazil
ORCID:
C. Fradkin: 0000-0002-8195-269X
R. Mugnaini: 0000-0001-9334-3448
*Corresponding author: Chris Fradkin, School of Communication and Arts, University of São Paulo, Av. Prof. Lúcio Martins Rodrigues 443 - Butantã,
05508-020, São Paulo, Brazil.
E-mail: chrisfradkin@gmail.com
Abstract: This study empirically examined the promotion and implementation of open science measures among high-performing journals of Brazil, Mexico, Portugal, and Spain. Journal policy related to data sharing, materials sharing, preregistration, open peer review, and consideration of preprints and replication studies was gathered from the websites of the journals. Four hundred articles were coded for the inclusion of data availability statements, conflict of interest disclosures, funding disclosures, DOI, ORCID, and continuous publishing. Analyses found a higher promotion of open science measures among Brazilian journals than their Portuguese counterparts, and higher promotion of open science measures among international journals than their domestic counterparts. Analyses found higher implementation of open science measures among Brazilian journals than their Portuguese and Mexican counterparts. One journal out of 40 encouraged preregistration of studies; none encouraged replication studies and none had implemented open peer review. These findings reveal reasonably strong implementation of secondary open science measures (e.g., DOI, ORCID, conflict of interest and funding source disclosure) among the sample, but weaker implementation of primary measures
(e.g., open data, open materials, replication studies and open peer review).
The implications of these findings are considered and suggestions are made to bolster the adoption of open science measures among Ibero-American scientific journals.
Keywords: Ibero-American, open science, SciELO, scientific rigour,
transparency
Key points
• The implementation of open science measures bolsters the transparency and rigour of scientific publications.
• Forty of the highest ranked journals of Brazil, Mexico, Portugal, and Spain were analysed to determine their promotion and implementation of open science measures.
• Analysis of journal policy related to the promotion of open science measures revealed higher promotion among Brazilian journals than their Portuguese counterparts, and higher promotion among international journals than their domestic counterparts.
• Analysis of the implementation of open science measures among 400 articles from the sample revealed higher implementation of open science measures among Brazilian journals than their Portuguese and Mexican counterparts.
• Journals committed to increasing their promotion and implementation of open science measures can do so with a minimum amount of time and effort.
DISCUSSION
This study is the first we are aware of that empirically examined the promotion and implementation of OS measures among Ibero-American journals. Partially consistent with Hypothesis 1 is the finding that the promotion and implementation of OS measures
was higher among Brazilian journals than their Mexican and Portuguese counterparts. Among specific measures, the promotion of open materials and the implementation of continuous publishing was higher among Brazilian journals than their Mexican and
Portuguese counterparts, respectively. Inconsistent with Hypothesis 2 is the finding that the promotion and implementation of OS measures was higher among international journals than their domestic counterparts, although SciELO-indexed journals were
higher in their promotion of preprints than their domestic counterparts and higher than international journals in their implementation of ORCID identifiers. Inconsistent with Hypothesis 3 is the finding that the promotion and implementation of OS measures
does not vary according to publication language. Inconsistent with Hypothesis 4 is the finding that the promotion and implementation of OS measures does not vary across research subject field, although social science journals were lower in their promo-
tion of preprints and their implementation of continuous publishing than their health science counterparts.
SciELO
Among the sample, there are seven SciELO-indexed journals (five based in Brazil and two in Mexico), which may explain the strong performance of the Brazilian journals. Since 2019, SciELO (2021, 2023) has promoted OS practices through its Priority lines of action, and Brazil’s 319 SciELO-indexed journals may have benefited more from this programme than their lesser- represented counterparts (SciELO: Mexico: 162; Portugal: 59; Spain: 46). Future studies could explore the influence of SciELO on the promotion and implementation of OS measures among a sample of SciELO-indexed journals and a control group of their
non-SciELO-indexed counterparts.
Performance
The weak performance of the Portuguese journals appears to be associated with the high prevalence (70%) of social science journals in this group (see Table 6). By contrast, the stronger performance of the Brazilian and Spanish journals appears to be associated with the higher prevalence of health journals in these groups (80% and 60%, respectively). Interestingly, the two lowest scoring journals in the study were from Portugal and in the social science field. Conversely, the highest scoring journal in the study was from Brazil and in the health field. These associations are consistent with studies citing lagging support for OS among journals in the social science field (Karhulahti & Backe, 2021;Packer, 2020; Watchorn, 2022). A study by Mugnaini et al. (2021), for example, noted a significantly higher prevalence of DOIs in the bibliographical references of journals from the health and hard sciences than those from the social sciences and humanities. This is independent of the fact that researchers from the social sciences tend to publish more frequently in books than their health and hard science counterparts (Mueller, 2005; Sivertsen, 2019); and that books have a lower prevalence of DOIs than journal publications (Gorraiz et al., 2016)
Among the sample as a whole, implementation of OS measures (31.7%) was slightly higher than promotion of OS measures (28.5%). One journal out of 40 encouraged preregistration of studies; none encouraged replication studies and none had implemented open peer review. The highest scoring journal, Diabetology & Metabolic Syndrome, from the health field, promoted three of the five OS measures and implemented five of the seven OS measures. By contrast, the lowest scoring journals, IJISPM—International Journal of Information Systems and Project Management and Tourism & Management Studies, both from the social sciences category, promoted and implemented none of the OS measures we examined. The poor performance of these two social science journals contributed to the poor performance of Portugal overall.
Closing
This study is the first bibliometric examination of the promotion and implementation of OS measures among Ibero-American scientific journals. While the findings reveal consistent implementation of several secondary OS measures (e.g., DOI, ORCID, conflict of interest and funding source disclosure), they reveal sporadic implementation of critical OS measures (e.g., open data statements, open materials statements, encouragement of replication studies, open peer review). Journal publishers are the gatekeepers in the expansion of OS measures; they decide whether ORCID identifiers are a requirement for manuscript submission. They have the power to require a data availability statement as a condition of manuscript submission. We acknowledge that other OS practices, such as open peer review, will require more discussion before they are implemented. In the meantime, however, there is much work to be done, as Ibero-American journals, and their non-Ibero-American counterparts, make adjustments in their publishing machinery to meet the standards of the OS movement.
*****************************
