Artículo invitado - Nuevos vientos de la comunidad editorial científica latinoamericana
Por Ana Heredia, Eloisa Viggiani
28 de marzo de 2022
Nota del editor: El post de hoy es de Ana Heredia y Eloisa Viggiani. Ana es una antigua investigadora convertida en especialista en comunicación académica. Eloisa es especialista en bases de datos bibliográficas y en evaluación de la ciencia, proporcionando análisis, ideas y recomendaciones en torno a las evaluaciones de la ciencia y el uso responsable de los indicadores para la evaluación de las instituciones de investigación y los investigadores individuales.
Desde América Latina soplan vientos de cambio en cuanto al papel de la publicación académica en la evaluación de la ciencia. El 15 de septiembre de 2021 se creó la Asociación Latinoamericana de Editores Científicos (ALAEC), a través de los esfuerzos de tres asociaciones nacionales: la Asociación Brasileña de Editores Científicos - ABEC Brasil; la Asociación Colombiana de Prensas Universitarias - ASEUC; y la Asociación Uruguaya de Revistas Académicas - AURA. Su trabajo en curso fue impulsado por un grupo de trabajo internacional e interdisciplinario de 10 personas con la misma idea.
ALAEC se lanzó oficialmente durante LATMÉTRICAS 2021: LATmetrics y el Simposio Latinoamericano sobre Estudios Métricos en Ciencia y Tecnología, que atrajo a más de 600 participantes, principalmente investigadores que piensan en la evaluación de la investigación desde la perspectiva latinoamericana. Un evento bilingüe (español y portugués), organizado en colaboración por investigadores de diferentes países, fue patrocinado por ABEC Brasil, ASEUC, SciELO, el Consejo Latinoamericano de Ciencias Sociales - CLACSO, Dialnet, Universidad Nacional de Colombia y Universidad EAFIT. Ofreció un espacio para un diálogo común dentro de América Latina sobre el papel de las métricas en los sistemas nacionales de evaluación científica, así como una exploración de los mapas de conocimiento, las tendencias, el desarrollo de métricas sobre el papel de la ciencia y la tecnología en la transformación social, y - importante - el papel de las revistas científicas de la región (la mayoría de las cuales se publican en las universidades públicas) en la evaluación.
Durante la conferencia, se invitó a los participantes a reflexionar sobre el uso de métricas para la evaluación de la ciencia, y cómo responder a la creciente presión sobre las revistas científicas que proviene tanto del paradigma internacional de la calidad (medido a través de los indicadores de impacto de las citas, con fuerte influencia de las empresas comerciales propietarias de las bases de datos bibliográficas), como de las agencias de evaluación que utilizan los criterios de clasificación de las revistas con el fin de distribuir recursos para la investigación y la educación superior.
Para ayudar a evaluar el interés en la idea de una asociación regional y para entender mejor las perspectivas de los editores sobre el uso de las métricas de las revistas para las evaluaciones científicas, se realizó una encuesta a los editores de revistas, con 20 preguntas destinadas a caracterizar la revista que editan, como el área(s) temática(s), la audiencia, el modelo de negocio y la adopción de la ciencia abierta, la cobertura de las bases de datos, las estrategias para aumentar la visibilidad y el uso de métricas e indicadores para la gestión de las revistas. La encuesta también incluyó cuatro preguntas sobre el uso de indicadores de impacto de citas para las evaluaciones nacionales de la ciencia realizadas por organismos gubernamentales en América Latina y sus efectos en las actividades de publicación e investigación en la región.
Figura 1: ¿Qué tan adecuado es el uso de las métricas de impacto de las revistas para las evaluaciones de la ciencia? Respuestas de una encuesta en línea a editores de revistas de América Latina y el Caribe (n=342).
Cuando se les preguntó cómo se verían afectadas las dimensiones clave de la ciencia por el uso de las métricas de impacto de las revistas para las evaluaciones, más de la mitad de los encuestados consideraron que habría un efecto adverso en cinco de las siete áreas identificadas, sobre todo en términos de "ciencia rápida" en detrimento de la "ciencia lenta" (“fast science” in prejudice of “slow science”) y una disminución en el número y la diversidad de las revistas locales, como se ve en la Figura 2.
Figura 2: Cómo se verían afectadas las dimensiones clave de la ciencia por el uso de las métricas de impacto de las revistas para las evaluaciones. Respuestas de una encuesta en línea con editores de revistas de América Latina y el Caribe (n=342).
Restablecer los criterios de calidad, valorando las revistas que:
Esta retroalimentación se utilizó para apoyar el desarrollo del Manifiesto de la ALAEC para el uso responsable de las métricas en la evaluación de la investigación en América Latina y el Caribe (ALAEC Manifesto for the responsible use of metrics in research evaluation in Latin America and the Caribbean), que pide un uso más inclusivo y responsable de las métricas basadas en revistas en la evaluación de la investigación. Apoya manifiestos anteriores, como la Declaración de San Francisco sobre la Evaluación de la Investigación - DORA (2012) (San Francisco Declaration on Research Assessment – DORA), el Manifiesto de Leiden para la Métrica de la Investigación (2015) (Leiden Manifesto for Research Metrics) y la Iniciativa de Helsinki sobre el Multilingüismo en la Comunicación Académica (2019) ( Helsinki Initiative on Multilingualism in Scholarly Communication). Reconociendo que los actuales criterios impuestos por los organismos evaluadores latinoamericanos tienen consecuencias perversas para las revistas de la región y que, por lo tanto, los autores tendrán menos incentivos para enviar artículos a ellas, el manifiesto tiene cinco llamados principales a la acción:
1.- Restablecer los criterios de calidad, valorando las revistas que:
Publican investigaciones relevantes independientemente del área o tema, el idioma, el público objetivo o el ámbito geográfico
Aportan un amplio espectro de contribuciones académicas y de investigación, como la replicación, la innovación, la traducción, la síntesis y la metainvestigación
Practican la ciencia abierta, incluido el acceso abierto
Adoptan altos estándares éticos, priorizando la calidad y la integridad en la publicación científica
2.- Valorar y estimular el trabajo de los editores científicos y sus equipos, promoviendo su formación y desarrollo, y reconociendo su papel fundamental en la adopción y difusión de buenas prácticas en la publicación científica
3.- Asegurar que las revistas y editores nacionales no pierdan los incentivos financieros y el flujo de envíos de artículos, permitiéndoles alcanzar y mantener altos estándares de calidad e integridad en sus procesos editoriales, especialmente para las revistas que practican la ciencia abierta y el multilingüismo.
4.- Fortalecer, difundir y proteger las infraestructuras nacionales y regionales de comunicación científica (SciELO, RedALyC, LatIndex, LA Referencia y los sistemas CRIS no comerciales), que favorezcan la ciencia abierta y el multilingüismo, y que puedan generar las métricas e indicadores más adecuados para evaluar la ciencia local y regional.
5.- Fomentar y valorar las redes de colaboración y los intercambios entre todos los actores del ecosistema de producción y difusión del conocimiento: instituciones, autores, revisores y agencias de financiación, etc., en la región.
Al final de la presentación oficial del Manifiesto, el público tuvo la oportunidad de hacer preguntas y compartir sus puntos de vista. Varias personas destacaron la importancia de contar con asociaciones nacionales de editores científicos en cada país y, al mismo tiempo, reforzar la cooperación regional para aunar fuerzas, esfuerzos y trabajar juntos. También se mencionó en varias ocasiones la importancia del reconocimiento y la profesionalización de todo el equipo editorial, así como que los editores conozcan las métricas y sus implicaciones. También, priorizar la profesionalización de las revistas latinoamericanas, para que se mejore la indexación, se motive a los autores a enviar a estas revistas, aumentando su visibilidad. Otro tema recurrente fue la dificultad de establecer un diálogo más estrecho con los Ministerios de Ciencia, Tecnología e Innovación, que deberían promover discusiones más inclusivas, involucrando a las revistas, para enfatizar y apoyar la visibilidad de las revistas nacionales, la internacionalización y la promoción de los resultados a nivel nacional e internacional.
Actualmente, el grupo fundador de la ALAEC - todos los firmantes del Manifiesto - está trabajando para consolidar la organización, a través de la creación de un grupo de gestión que establecerá las bases para los próximos pasos, como los planes estratégicos y de acción, el estatuto de la ALAEC, el próximo lanzamiento del sitio web oficial y la primera reunión de la ALAEC, que tendrá lugar en 2023.
En palabras del profesor Sigmar Rode, presidente de la ABEC: "La idea es que cada país tenga su propia asociación de editores científicos, que incluya a todos los implicados en la publicación científica. La idea de ALAEC es conseguir que cada país avance en sus procesos editoriales. Trabajar juntos y crecer juntos. Cuando tenemos una asociación de tan alto nivel, que involucra a toda la región latinoamericana, somos más fuertes para dialogar con los ministerios de nuestros países".
La profesora Lorena Ruiz, presidenta de la ASEUC de Colombia, se mostró de acuerdo y añadió que "la evaluación de la ciencia no debe centrarse en las revistas, y debe prestarse más atención al artículo individual y a la calidad de sus datos". El profesor Ruiz destacó que "la misión de las revistas va más allá de la indexación, y la comunidad editorial académica necesita saber qué métricas de evaluación de la ciencia son necesarias, y qué papel juegan las revistas en el sistema de evaluación".
La profesora Karina Patrón, del AURA uruguayo, opina que se debe invertir en el desarrollo, la interpretación y el uso de las métricas de las revistas. Actualmente, los sistemas científicos nacionales de la región incentivan a los autores a publicar en revistas de "alto impacto"; las publicaciones en revistas indexadas en SciELO, por ejemplo, cuentan con menos de la mitad de las primeras. "Publicar en revistas de alto impacto permite a los investigadores puntuar más alto en las evaluaciones, lo que repercute en la evolución de la carrera investigadora".
La creación de ALAEC es un logro memorable para el ecosistema de la comunicación académica latinoamericana, pero hay mucho trabajo por delante. Hay muchos desafíos que enfrentar, pero creemos firmemente en el poder del trabajo colectivo de individuos comprometidos, una infraestructura de información regional abierta y de rápido desarrollo, y una agenda bien definida con amplia aceptación.
Ana Heredia
Ana Heredia es una antigua investigadora convertida en especialista en comunicación científica. Bióloga de formación, tras un máster en neurociencias, un doctorado en ciencias y dos postdoctorados, Ana se incorporó al mundo editorial de STM, desarrollando su experiencia en infraestructura de información científica, analítica y publicación. Durante más de 20 años de investigación y experiencia profesional, Ana ha desarrollado un conocimiento y una visión de los diferentes componentes del ecosistema de la investigación, así como sólidas conexiones a nivel mundial en universidades, financiación de la investigación y agencias gubernamentales. Es un miembro comprometido de SSP y C4DISC, y forma parte del Comité Asesor de NISO Plus. Ana está especialmente comprometida con la investigación abierta, el uso responsable de las métricas en la evaluación de la investigación, y la bibliodiversidad y el multilingüismo como parte de la agenda de inclusión y diversidad en la comunicación académica.
Ver todas las publicaciones de Ana Heredia Ver todas las publicaciones de Ana
Eloisa Viggiani
Eloisa Viggiani es especialista en bases de datos bibliográficas y evaluación de la ciencia, y ofrece análisis, ideas y recomendaciones en torno a las evaluaciones de la ciencia y el uso responsable de indicadores para la evaluación de las instituciones de investigación y los investigadores individuales. Su experiencia incluye más de 15 años en la prestación de servicios de consultoría a universidades, agencias de financiación de la investigación y organizaciones gubernamentales en América Latina en torno a la evaluación de la investigación y la educación superior, y en torno a temas de especial interés en la región, como la Ciencia Abierta, la movilidad académica / Fuga de Cerebros, y las desigualdades regionales. Eloisa es licenciada en Ingeniería y doctora en Educación en Ciencias por la Universidad Federal de Rio Grande do Sul, Brasil.
Ver todas las publicaciones de Eloisa Viggiani Ver todas las publicaciones de Eloisa Viggiani
………………………………………….
Guest Post – New Winds from the Latin American Scientific Publishing Community
Editor’s Note: Today’s post is by Ana Heredia and Eloisa Viggiani. Ana is a former researcher turned scholarly communications specialist. Eloisa is a specialist in bibliographic databases and science evaluation, providing analysis, insights and recommendations around science evaluations and the responsible use of indicators for the assessment of research institutions and individual researchers.
There is a changing wind blowing from Latin America, in terms of the role of scholarly publishing in the evaluation of science. On September 15, 2021, the Latin American Association of Scientific Editors (ALAEC) was created, through the efforts of three national associations: the Brazilian Association of Scientific Editors — ABEC Brasil; the Colombian Association of University Presses – ASEUC; and the Uruguayan Association of Academic Journals — AURA. Their ongoing work was boosted by a 10-person international and interdisciplinary working group with the same idea.
ALAEC was officially launched during LATMÉTRICAS 2021: LATmetrics y el Simposio Latinoamericano sobre Estudios Métricos en Ciencia y Tecnología, which attracted more than 600 participants, mainly researchers who are thinking about research evaluation from the Latin American perspective. A bilingual event (Spanish and Portuguese), organized collaboratively by researchers from different countries, it was sponsored by ABEC Brasil, ASEUC, SciELO, the Latinamerican Council of Social Sciences – CLACSO, Dialnet, Universidad Nacional de Colombia and Universidad EAFIT. It offered a space for a common dialogue within Latin America about the role of metrics in national systems of scientific evaluation, as well as an exploration of knowledge maps, trends, the development of metrics on the role of science and technology in social transformation, and – importantly — the role of the region’s scientific journals (the majority of which are published in public universities) in evaluation.
During the conference, participants were invited to reflect on the use of metrics for science evaluation, and how to respond to the growing pressure on scientific journals that comes from both the international quality paradigm (measured through citation impact indicators, with strong influence from commercial companies that own bibliographic databases), and from evaluation agencies that use journal ranking criteria for the purpose of distributing resources for research and higher education.
To help evaluate interest in the idea of a regional association and to better understand editors’ perspectives on the use of journal metrics for science evaluations, a survey of journal editors was carried out, with 20 questions aimed at characterizing the journal they edit, such as subject area(s), audience, business model and adoption of open science, coverage by databases, strategies for increasing visibility, and use of metrics and indicators for journal management. The survey also included four questions about the use of citation impact indicators for national evaluations of science performed by governmental agencies in Latin America and their effects on the publication and research activities in the region.
The survey was sent to editors belonging to the three regional associations, as well as being open to the wider community. We would like to highlight here some of the interesting insights derived from the 342 responses from editors in a total of 14 Latin American countries.
The majority of editors responding are responsible for journals that are:
Academic and public – they are owned by public universities (67%) and their main audiences are academic researchers and students (80%)
Open access – 91% are fully OA and 88% do not charge an APC — they are Diamond OA journals, where neither the author nor the reader has to pay
Not included in international indexes – 80% are not indexed in Web of Science or Scopus but are rather indexed in regional databases as Latindex (62%)
A large majority of the editors who responded to the survey felt that the use of citation impact indicators for evaluating science in Latin America is inadequate or partially adequate (70%-88% depending on the specific area of evaluation), as seen in Figure 1.
Figure 1: How adequate is the use of journal impact metrics for evaluations of science? Responses from an online survey of Latin American and Caribbean journal editors (n=342).
When questioned about how key dimensions of science would be affected by the use of journal impact metrics for evaluations, over half of the respondents felt that there would be an adverse effect in five of the seven areas identified, most notably in terms of “fast science” in prejudice of “slow science” and a decrease in the number and diversity of local journals, as seen in Figure 2.
Figure 2: How key dimensions of science would be affected by the use of journal impact metrics for evaluations. Responses from an online survey with Latin American and Caribbean journal editors (n=342).
This feedback was used to support the development of the ALAEC Manifesto for the responsible use of metrics in research evaluation in Latin America and the Caribbean, which calls for a more inclusive and responsible use of journal-based metrics in research evaluation. It supports previous manifestos, such as the San Francisco Declaration on Research Assessment – DORA (2012), the Leiden Manifesto for Research Metrics (2015), and the Helsinki Initiative on Multilingualism in Scholarly Communication (2019). Acknowledging that the current criteria imposed by Latin American evaluating bodies have perverse consequences for the region’s journals and that authors will therefore have less incentive to submit articles to them, the manifesto has five main calls to action:
Re-establish quality criteria, valuing journals that:
Publish relevant research regardless of area or subject matter, language, target audience, or geographic scope
Bring a broad spectrum of scholarly and research contributions, such as replication, innovation, translation, synthesis, and meta-research
Practice open science, including open access
Adopt high ethical standards, prioritizing quality and integrity in scientific publication
Value and stimulate the work of scientific editors and their teams, promoting their training and development, and recognizing their fundamental role in the adoption and dissemination of good practices in scientific publication.
Ensure that national journals and publishers do not lose financial incentives and the flow of article submissions, allowing them to achieve and maintain high standards of quality and integrity in their editorial processes, especially for journals that practice open science and multilingualism.
Strengthen, disseminate, and protect national and regional infrastructures for scientific communication (SciELO, RedALyC, LatIndex, LA Referencia, and non-commercial CRIS systems), that favor open science and multilingualism, and that can generate the most appropriate metrics and indicators to evaluate local and regional science.
Encourage and value collaborative networks and exchanges between all actors in the ecosystem of knowledge production and dissemination: institutions, authors, reviewers and funding agencies, etc., in the region.
At the end of the official presentation of the Manifesto, the audience had the opportunity to ask questions and share their points of view. Several people highlighted the importance of having national associations of scientific editors in every country and, at the same time, reinforcing regional cooperation to joint strengths, efforts, and work together. The importance of recognition and professionalization of the whole editorial team, as well as for editors to have a knowledge of metrics and their implications was also mentioned several times. Also, to prioritize the professionalization of Latin American journals, so indexing is improved, authors are motivated to submit to these journals, increasing their visibility. Another recurring issue was the difficulty of establishing a closer dialogue with Science, Technology, and Innovation Ministries, which should promote more inclusive discussions, involving journals, to emphasize and support national journals’ visibility, internationalization and promotion of results at national and international levels.
Currently, ALAEC’s founding group – all the signatories of the Manifesto — is working to consolidate the organization, through the establishment of a management group that will set up the basis for next steps, like strategic and action plans, ALAEC’s statute, the upcoming launch of the official website, and the first ALAEC meeting, to happen in 2023.
In the words of Prof. Sigmar Rode, President of ABEC: “The idea is that each country has its own scientific editors association, including all those involved in scientific publishing. ALAEC’s idea is to make sure that every country advances in their editorial processes. Working together and growing together. When we have such a high level association, involving the whole Latin American region, we are stronger to dialogue with Ministries in our countries.”
Prof. Lorena Ruiz, President of the Colombian ASEUC, agreed and added that: “science evaluation should not focus on journals, and more attention should be paid to the individual article and the quality of its data”. Prof. Ruiz highlighted that the “journal’s mission goes beyond indexing, and the academic publishing community needs to know which science evaluation metrics are needed, and what role journals play in the evaluation system.”
Prof. Karina Patrón, from the Uruguayan AURA, thinks that an investment should be made in developing, interpreting, and using journal metrics. Currently, national science systems of the region incentivize authors to publish in “high impact” journals; publications in journals indexed in SciELO, for example, count for less than half of the former. “Publishing in high impact journals allows researchers to score higher in evaluations, which has an impact in the evolution of the research career.”
The creation of ALAEC is a memorable achievement for the Latin American scholarly communication ecosystem, but there is plenty of work ahead. There are many challenges to be faced, but we strongly believe in the power of the collective work of committed individuals, a fast-developing and open regional information infrastructure, and a well-defined agenda with widespread buy-in.
Ana Heredia
Ana Heredia is a former researcher turned scholarly communications specialist. A biologist by training, after an MSc in Neurosciences, a PhD in Sciences, and two postdocs, Ana joined the STM publishing world, developing expertise in scientific information infrastructure, analytics, and publishing. During more than 20 years of research and professional experience, Ana developed knowledge and a vision of the different components in the research ecosystem, and solid connections globally at universities, research funding and government agencies. She is an engaged member of SSP and C4DISC, and part of the NISO Plus Advisory Committee. Ana is particularly committed to open research, the responsible use of metrics in research evaluation, and bibliodiversity and multilingualism as part of the inclusion and diversity in scholarly communication agenda.
View All Posts by Ana Heredia
Eloisa Viggiani
Eloisa Viggiani is a specialist in bibliographic databases and science evaluation, providing analysis, insights and recommendations around science evaluations and the responsible use of indicators for the assessment of research institutions and individual researchers. Her experience includes more than 15 years in delivering consulting services to universities, research funding agencies, and government organizations in Latin America around the assessment and evaluation of research and higher education, and around topics of special interest in the region, such as Open Science, academic mobility/Brain Drain, and regional inequalities. Eloisa has a bachelor’s degree in Engineering and a PhD in Education in Sciences from the Federal University of Rio Grande do Sul, Brazil.
View All Posts by Eloisa Viggiani
