Publicado en The Scholarly Kitchen
Guest Post - El papel de DOAJ en el apoyo a la confianza en las revistas científicas: Retos actuales y soluciones futuras
Por CENYU SHEN, JOANNA BALL
6 DE JUNIO DE 2024
Nota del editor: El artículo de hoy está escrito por Cenyu Shen y Joanna Ball. Cenyu es Subdirector Editorial (Calidad) del Directorio de Revistas de Acceso Abierto. Joanna es la Directora Gerente del Directorio de Revistas de Acceso Abierto.
A lo largo de su historia, las revistas académicas han verificado la fiabilidad y calidad de la investigación, y el proceso de revisión por pares que utilizan es un importante elemento de confianza. En esta entrada del blog reflexionamos sobre las amenazas actuales a la confianza en la publicación de revistas académicas y las implicaciones para organizaciones como el Directorio de Revistas de Acceso Abierto (DOAJ) que tratan de mantener esa confianza.
Crisis de confianza en las revistas científicas
La integridad del sistema de publicaciones académicas se enfrenta a retos cada vez mayores. Una combinación de factores, como la mala conducta en la investigación, las prácticas editoriales cuestionables, la fatiga de los revisores, la actual cultura de recompensas e incentivos y el mal uso de la tecnología de IA, ha socavado significativamente la credibilidad de las revistas académicas y ha sembrado dudas sobre la fiabilidad de la investigación publicada.
AUMENTO DE LAS RETRACTACIONES
Aumentan los casos de mala conducta investigadora y otras prácticas cuestionables. En 2023, el número de artículos retractados superó los 10.000, superando todos los récords anuales anteriores. El aumento de las retractaciones está especialmente relacionado con los artículos publicados en números especiales de revistas, a menudo supervisados y editados por editores invitados. Este sistema puede abrir la puerta a las fábricas de artículos oportunistas y otros malos agentes implicados en la venta de autorías y artículos falsos, manipulando a editores y revisores para facilitar la publicación de artículos fraudulentos. Retirar artículos de dudosa calidad es un proceso que consume mucho tiempo y recursos a las revistas, pero es un elemento esencial de un proceso científico saludable.
DISMINUCIÓN DE LA SUPERVISIÓN EDITORIAL
El continuo crecimiento de las publicaciones de investigación a lo largo de los años plantea una cuestión crucial: ¿puede la revisión por pares, tal y como funciona en la actualidad, gestionar adecuadamente el creciente volumen de artículos y, al mismo tiempo, filtrar eficazmente los envíos de baja calidad? Los editores de las revistas luchan constantemente por encontrar los revisores cualificados necesarios para mantener la calidad del proceso de revisión. El aumento del volumen de artículos sometidos a revisión supone una presión adicional para un sistema ya de por sí sobrecargado. Aunque la inteligencia artificial (IA) ofrece la posibilidad de ampliar el grupo de revisores y perfeccionar el emparejamiento automático de los manuscritos con los revisores adecuados, hay pocas pruebas empíricas que demuestren su eficacia. La tecnología por sí sola no puede resolver por completo el problema intrínseco de la reticencia de los investigadores a participar en la revisión por pares. Como la demanda de revisores supera a la oferta, existe el riesgo de crear incentivos para comprometer el rigor del proceso de revisión por pares.
PRESIONES DEL SISTEMA DE RECOMPENSAS
La actual cultura de investigación de «publicar o perecer» crea un entorno que puede fomentar prácticas de investigación cuestionables. Los investigadores pueden enviar sus trabajos a revistas depredadoras como atajo para aumentar su historial de publicaciones y asegurarse la progresión profesional y las oportunidades de financiación. Este problema es especialmente preocupante en medicina, por ejemplo, donde muchos trabajos de baja calidad relacionados con la COVID-19 pueden contener datos erróneos o fraudulentos para el tratamiento, lo que tiene el potencial de amenazar la salud pública.
MAL USO DE LA TECNOLOGÍA DE LA IA
El avance de la tecnología basada en la IA ha introducido aún más desafíos en este panorama. Los detectives de los datos han descubierto numerosos casos de documentos generados por IA que se infiltran en las revistas, lo que hace aún más difícil distinguir la información fiable de la que no lo es. Dada la rápida evolución de la tecnología de IA, el desarrollo de una herramienta sólida para detectar y prevenir eficazmente estas prácticas fraudulentas es una lucha sin fin.
La confianza en la publicación de revistas depende de la integridad de los directores, revisores, autores y editores. Cualquier desviación de la conducta ética esperada y de las prácticas responsables por parte de cualquiera de estos actores representa una amenaza significativa para los cimientos de la confianza y tiene un profundo impacto en la confianza pública en la investigación. El hecho de que el fraude y las conductas indebidas sean cada vez más frecuentes constituye una señal de alarma, pues indica que la confianza en la investigación se encuentra ya en estado de crisis. Se requieren acciones inmediatas para restaurar y fortalecer esta confianza erosionada.
Salvaguardar la confianza: La evolución del papel del DOAJ
La historia de DOAJ refleja este creciente interés por la integridad y la confianza en la publicación académica. Fundado en 2003 con solo 330 títulos, su propósito original era simplemente enumerar el creciente número de revistas de acceso abierto, y nuestro pequeño equipo se centró principalmente en recopilar y verificar la información. El índice creció rápidamente y, en 2013, el número total de revistas en el índice había alcanzado las 10.000. A medida que las prácticas depredadoras comenzaron a crecer, se hizo evidente que los criterios del DOAJ eran inadecuados para filtrar las revistas engañosas o aquellas con prácticas de publicación cuestionables. Tras una amplia consulta a la comunidad, elaboramos un nuevo conjunto de criterios de evaluación. Se pidió a todas las revistas del índice que volvieran a solicitar su inclusión con arreglo a los nuevos criterios y, como resultado, en 2016 se eliminaron unas 3300 revistas por no haber vuelto a solicitar su inclusión.
Todas las revistas que solicitan la indexación en DOAJ deben demostrar que cumplen nuestros criterios actuales, que incluyen requisitos de transparencia, procesos adecuados de revisión por pares y condiciones claras y coherentes de derechos de autor y licencias. Las solicitudes son revisadas por un miembro del equipo editorial de DOAJ o por uno de nuestros voluntarios especialmente formados, y la decisión final sobre la inclusión la toma un editor jefe de DOAJ. Sólo el 24% de las solicitudes se aceptan en el momento de la solicitud inicial, pero muchas revistas aprovechan los consejos de nuestro equipo para mejorar sus procedimientos antes de volver a presentar una solicitud. Si una revista no está de acuerdo con nuestra decisión, puede presentar un recurso. Nuestro Comité de Apelación examina minuciosamente cada caso, teniendo en cuenta cualquier prueba adicional o justificación convincente aportada por la revista.
Gracias a nuestros rigurosos criterios de selección y procesos de evaluación, DOAJ es citado a menudo como un indicador de confianza en la comunidad académica, utilizado por gobiernos, financiadores de la investigación e instituciones como los miembros de la cOAlition S, la «Lista Nórdica» de títulos aprobados y la lista del Departamento Sudafricano de Educación Superior y Formación. Además, DOAJ es recomendada por muchos bibliotecarios e investigadores como guía fiable de revistas de acceso abierto legítimas y reputadas y de contenidos académicos de alta calidad, y está integrada en los catálogos de bibliotecas de todo el mundo.
Fomentar la confianza: Qué hacemos
En DOAJ trabajamos activamente con la comunidad para mejorar las normas en la publicación académica y ayudar a los editores a mejorar la calidad de sus revistas. Junto con COPE, OASPA y WAME, DOAJ es autor de los Principios de transparencia y buenas prácticas en la comunicación académica. Recientemente hemos lanzado, junto con OASPA, el Open Access Journals Toolkit para apoyar a los editores de revistas de acceso abierto. Nuestra red de embajadores, lanzada en 2016, trabaja en todo el mundo para promover estándares en la publicación de revistas y asesorar a los editores de revistas en buenas prácticas. También nos asociamos con Crossref y otros para apoyar PLACE (Publishers Learning and Community Exchange), un foro que ayuda a los editores a comprender y mejorar sus procesos y normas de publicación.
La definición de confianza en la publicación académica no es estática. El reto del DOAJ es mantener la confianza en un panorama en constante cambio de normas de publicación y prácticas editoriales cuestionables. Para ello, afinamos nuestros criterios, mejoramos nuestros métodos y desarrollamos nuevas iniciativas.
NUESTRO EQUIPO DE DETECTIVES
Un paso importante que hemos dado para salvaguardar y mantener las normas de calidad de las revistas incluidas en DOAJ es crear un equipo dedicado a la calidad. Este grupo trabaja para investigar presuntos casos de prácticas cuestionables, que han sido señalados durante el proceso de evaluación de solicitudes o por miembros de nuestra comunidad. El equipo examina la composición y competencia del consejo editorial y comprueba las prácticas de revisión por pares, los artículos publicados y otros factores. Como las prácticas predatorias siguen evolucionando, nuestras investigaciones son cada vez más complejas, y a veces consultamos a expertos externos en la materia para que nos asesoren. Solo en 2023, llevamos a cabo un total de 409 investigaciones sobre revistas y editores, muchas de las cuales dieron lugar a exclusiones del DOAJ de al menos un año. Estas decisiones también pueden recurrirse.
A través de nuestras investigaciones, también observamos una serie de revistas que se sitúan en una «zona gris» y son de baja calidad, pero no depredadoras. Pueden mostrar un uso deficiente del lenguaje y un diseño deficiente de la página web, o un nivel editorial o de producción inferior. Distinguimos estas revistas de las auténticamente depredadoras o engañosas.
AFINAR CRITERIOS: ENDOGENIA Y NÚMEROS ESPECIALES
También revisamos y perfeccionamos los criterios del DOAJ para asegurarnos de que se adaptan a las tendencias de la edición. Dos ejemplos recientes de cambios son la introducción de criterios para cubrir la endogenia y los números especiales.
En 2021, introdujimos nuevos criterios sobre endogenia, ya que habíamos observado una conexión entre los altos índices de endogenia y las prácticas cuestionables o poco éticas, como la revisión por pares comprometida, la autopromoción y los posibles conflictos de intereses. Por lo tanto, establecimos un umbral para un porcentaje aceptable de artículos escritos por editores, revisores o miembros de un consejo editorial. Sabemos que esto supone un reto para muchas revistas nuevas; no se pretende penalizar a las revistas creíbles, sino ofrecer a los editores un camino claro hacia la aceptación en el DOAJ. Trabajamos activamente con editores y directores para discutir la elegibilidad de sus revistas y encontrar soluciones.
En los últimos años, también hemos visto un aumento significativo en el número de revistas que dependen en gran medida de los números especiales como una herramienta para aumentar el volumen de artículos y los ingresos generados por una revista basada en APC. La preocupación por la calidad de los números especiales ha crecido dentro de la comunidad. Como resultado de estas preocupaciones y de las pruebas encontradas en nuestras propias revisiones, planteamos esta cuestión a nuestros socios de confianza: COPE, OASPA y WAME. COPE publicó un documento de debate sobre las mejores prácticas para las colecciones editadas por invitados en 2023 y, tomando esto como punto de partida, añadimos nuevos criterios para los números especiales, que abordaban cuestiones de supervisión editorial y excluían a las revistas que se basaban únicamente en números especiales. La reacción de algunos sectores de nuestra comunidad ilustra algunos de los retos a los que nos enfrentamos a la hora de implantar criterios aplicables a todas las disciplinas y comunidades. Varias revistas y organizaciones de humanidades y ciencias sociales con modelos de publicación de larga tradición basados en números especiales se pusieron en contacto con nosotros preocupadas por el hecho de que los nuevos criterios las excluyeran del DOAJ. Tras nuevas consultas, publicamos una versión actualizada de los criterios sin esta restricción.
HAY MUCHO EN JUEGO
Ambos ejemplos ilustran las consecuencias imprevistas que pueden tener para las revistas y los editores los cambios en nuestros criterios. Con el tiempo, nuestro papel en el ecosistema del acceso abierto ha evolucionado hasta convertirse en el de un guardián y árbitro de las normas, y la decisión de indexar o no una revista puede tener graves consecuencias para su reputación, impacto e incluso supervivencia.
Nos tomamos muy en serio esta responsabilidad y equilibramos constantemente la necesidad de garantizar la calidad de las revistas de nuestro índice con nuestro deseo de ser lo más inclusivos posible. Nuestro equipo sigue de cerca la evolución de la edición científica y colabora estrechamente con la comunidad para comprender las tendencias y preocupaciones. Tomamos las decisiones sobre los criterios a través de un proceso cuidadoso y colaborativo, consultando con socios de confianza y trabajando con directores y editores de revistas para discutir lo que es apropiado y razonable. Para aumentar la transparencia y garantizar que nuestras consultas sean lo más inclusivas posible, estamos creando un Grupo Asesor sobre Política Editorial, que incluirá una representación global de nuestros distintos grupos de interés y disciplinas.
¿El futuro de la confianza?
La confianza va de la mano de la apertura y la transparencia, y es vital que la comunidad confíe no sólo en las revistas de nuestro índice, sino también en nuestra organización y en el trabajo que realizamos. Nuestro objetivo es ser lo más abiertos posible y, como muchas otras organizaciones, nos hemos comprometido con los Principios de la Infraestructura Académica Abierta. Nuestros criterios, la lista de revistas añadidas y eliminadas, y las finanzas también están disponibles abiertamente.
DOAJ es sólo una parte de una red más amplia de organizaciones que trabajan para mantener la confianza en la publicación académica, y nos sentimos alentados por la tendencia a utilizar marcadores de confianza en todos los niveles a lo largo del ciclo de vida de la investigación. El mantenimiento de la confianza es un proceso continuo y una responsabilidad compartida por todas las partes interesadas; requiere un enfoque coordinado en el que todos desempeñen su papel, desde la formación institucional y el apoyo a las prácticas de publicación éticas en las instituciones hasta una mayor transparencia por parte de los editores, pasando por infraestructuras como DOAJ, que proporciona metadatos y normas.
******************
Guest Post — DOAJ’s Role in Supporting Trust in Scholarly Journals: Current Challenges and Future Solutions
JUN 6, 2024
Editor’s Note: Today’s post is by Cenyu Shen and Joanna Ball. Cenyu is the Deputy Head of Editorial (Quality) for the Directory of Open Access Journals. Joanna is the Managing Director of the Directory of Open Access Journals.
Throughout their history, scholarly journals have verified the reliability and quality of research, and the peer review process they use is an important building block of trust. In this blog post we reflect on the current threats to trust in scholarly journal publishing, and the implications for organizations like Directory of Open Access Journals (DOAJ) that seek to uphold that trust.
A crisis of trust in scholarly journals
The integrity of the scholarly publishing system faces growing challenges. A combination of factors, including research misconduct, questionable publishing practices, reviewer fatigue, the current culture of rewards and incentives, and misuse of AI technology has significantly undermined the credibility of scholarly journals and cast doubt on the reliability of published research.
SURGE IN RETRACTIONS
Instances of research misconduct and other questionable practices are on the rise. In 2023, the number of retracted articles reached over 10,000, exceeding all previous annual records. The surge in retractions is particularly linked to papers published in special issues of journals, often overseen and edited by guest editors. This arrangement can open the door for opportunistic paper mills and other bad actors involved in the sale of authorship and fake papers, manipulating editors and reviewers to facilitate the publication of fraudulent papers. Retracting papers of dubious quality is a time-consuming and resource-intensive process for journals, but is an essential element of healthy scientific process.
The continued growth of research publications over the years raises a crucial question: can peer review, as it currently operates, adequately manage the growing volume of articles while effectively screening out low-quality submissions? Journal editors constantly struggle to find the qualified peer reviewers needed to maintain the quality of the review process. The increased volume of article outputs places additional pressure on an already stretched system. While artificial intelligence (AI) offers the potential to expand the reviewer pool, refine the automated matching of manuscripts with suitable reviewers, there’s little empirical evidence measuring its efficacy. Technology alone cannot fully address the intrinsic motivation problem of researchers’ reluctance to engage in peer review. As the demand for reviewers exceeds supply, there’s a risk of creating incentives to compromise on the rigor of the peer review process.
REWARD SYSTEM PRESSURESThe current “publish or perish” research culture provides an environment that can encourage questionable research practices. Researchers may submit their work to predatory journals as a shortcut to build their publication records, and secure career progression and funding opportunities. This problem is especially worrying in medicine, for example, where many poor quality COVID-19 related papers may contain wrong or fraudulent data for treatment, which has the potential to threaten public health.
MISUSE OF AI TECHNOLOGYThe advance of AI-based technology has introduced yet more challenges to this landscape. Data sleuths have uncovered numerous instances of AI-generated papers infiltrating journals, making it even harder to distinguish trusted from untrusted information. Given the rapid evolution of AI technology, developing a robust tool to effectively detect and prevent such fraudulent practices is an endless struggle.
Trust in journal publication relies on the integrity of editors, reviewers, authors, and publishers. Any deviation from the expected ethical conduct and responsible practices by any of these players presents a significant threat to the foundation of trust and has a profound impact on public confidence in research. As fraud and misconduct has become more common, it sends a warning, signaling that trust in research is already in a state of crisis. Immediate actions are required to restore and strengthen this eroded trust.
Safeguarding trust: DOAJ’s evolving roleThe history of DOAJ reflects this increasing focus on integrity and trust within scholarly publishing. Founded in 2003 with only 330 titles, its original purpose was simply to list the growing number of open access journals, and our small team focused primarily on gathering and verifying information. The index grew quickly and by 2013, the total number of journals in the index had hit 10,000. As predatory practices began to grow it became clear that DOAJ’s criteria were inadequate to filter out deceptive journals or those with questionable publishing practices. After a wide community consultation, we developed a new set of evaluation criteria. Every journal in the index was asked to reapply under the new criteria, and as a result, around 3,300 journals were removed in 2016 for failing to reapply.
All journals that apply for indexing in DOAJ need to demonstrate that they meet our current criteria, which include requirements for transparency, adequate peer-review processes, and clear and consistent copyright and licensing terms. Applications are reviewed by a member of the DOAJ editorial team or one of our specially trained community of volunteers, with the final decision on inclusion taken by a DOAJ Managing Editor. Only 24% of applications are accepted at initial application, but many journals use the advice given by our team to improve their procedures before reapplying. If a journal disagrees with our decision, they can submit an appeal. Our Appeals Committee thoroughly examines each case, taking into consideration any additional evidence or compelling justifications provided by the journal.
Due to our rigorous selection criteria and evaluation processes, DOAJ is often cited as an indicator of trust across the scholarly community, used by governments, research funders and institutions such as cOAlition S members, the “Nordic List” of approved titles, and the South African Department of Higher Education and Training’s list. In addition, DOAJ is recommended by many librarians and researchers as a reliable guide to legitimate, reputable open access journals and high-quality scholarly content, and integrated into library catalogues worldwide.
Fostering trust: What we doAt DOAJ, we work actively with the community to improve standards in scholarly publishing and to support editors to improve the quality of their journals. Together with COPE, OASPA and WAME, DOAJ is an author of the Principles of transparency and best practice in scholarly communication. We recently launched the Open Access Journals Toolkit with OASPA to support open access journal editors. Our network of ambassadors, launched in 2016, works worldwide to promote standards in journal publishing and to advise journal editors in good practice. We also partner with Crossref and others to support PLACE (Publishers Learning and Community Exchange), a forum which helps publishers to understand and improve their publishing processes and standards.
The definition of trust in scholarly publishing is not static. DOAJ’s challenge is to uphold trust within a constantly shifting landscape of publication standards and questionable publishing practices. We approach this by refining our criteria, improving our methods, and developing new initiatives.
OUR TEAM OF SLEUTHSOne important step we have taken to safeguard and maintain the quality standards of journals included in DOAJ is to develop a dedicated quality team. This group works to investigate suspected instances of questionable practices, which have been flagged during the application evaluation process, or by members of our community. The team examines editorial board composition and competence, and checks peer review practices, published articles and a number of other factors. As predatory practices continue to evolve, our investigations are becoming increasingly complex, and we sometimes consult external subject matter experts for their advice. In 2023 alone, we carried out a total of 409 investigations into journals and publishers, many of which resulted in exclusions from DOAJ of at least one year. These decisions are also open to appeal.
Through our investigations, we also see a number of journals that fall within a “grey area” and are low quality, but not predatory. They might demonstrate poor language usage and substandard website design, or lower editorial or production standards. We distinguish these journals from genuinely predatory or deceptive journals.
REFINING CRITERIA: ENDOGENY AND SPECIAL ISSUESWe also review and refine DOAJ’s criteria to ensure they adapt to trends in publishing. Two recent examples of changes are the introduction of criteria to cover endogeny and special issues.
In 2021, we introduced new criteria on endogeny as we’d observed a connection between high rates of endogeny and questionable or unethical practices, such as compromised peer review, self-promotion, and potential conflicts of interest. We therefore brought in a threshold for an acceptable percentage of articles authored by editors, reviewers or members of an editorial board. We know that this is challenging for many new journals; it is not intended to penalize credible journals but provide editors with a clear path towards DOAJ acceptance. We work actively with publishers and editors to discuss their journal’s eligibility and to find solutions.
In recent years, we’ve also seen a significant rise in the number of journals relying heavily on special issues as a tool to increase article volumes and the income generated by an APC-based journal. Concerns about the quality of special issues have grown within the community. As a result of these concerns and evidence found from our own reviews, we raised this issue with our trusted partners: COPE, OASPA and WAME. COPE issued a discussion document on best practice for guest edited collections in 2023 and, using this as our starting point, we added new criteria for special issues, which addressed issues of editorial oversight and excluded journals relying solely on special issues. The feedback we had from some parts of our community illustrates some of the challenges we face in implementing criteria that apply across all disciplines and communities. We were contacted by several humanities and social sciences journals and organizations with long-established publishing models based on special issues concerned that the new criteria excluded them from DOAJ. After further consultation, we released an updated version of the criteria without this restriction.
THE STAKES ARE HIGHBoth these examples illustrate the unintended consequences for journals and publishers that may arise from changes to our criteria. Over time, our role within the open access ecosystem has evolved to become that of a gatekeeper and an arbiter of standards, and the decision as to whether or not to index a journal can have serious consequences for a journal’s reputation, impact, and even survival.
We take this responsibility very seriously, and are constantly balancing the need to ensure the quality of the journals in our index with our desire to be as inclusive as possible. Our team carefully monitors developments in scholarly publishing and works closely with the community to understand trends and concerns. We take decisions on criteria through a careful, collaborative process, consulting with trusted partners, and working with journal editors and publishers to discuss what is appropriate and reasonable. To increase transparency and to ensure that we are as inclusive as possible in our consultation, we are in the process of establishing an Editorial Policy Advisory Group, which will include global representation of our different stakeholder groups and disciplines.
The future of trust?Trust goes hand-in-hand with openness and transparency, and it’s vital that the community trust not only the journals in our index, but also our organisation and the work that we do. We aim to be as open as possible, and like many other organisations have made a commitment to the Principles of Open Scholarly Infrastructure. Our criteria, list of journals added and removed, and finances are also openly available.
DOAJ is only one part of a wider network of organisations working to uphold trust in scholarly publishing, and we are encouraged by the move to use markers of trust at all levels across the research lifecycle. Upholding trust is an ongoing process and a responsibility shared by all stakeholders; it needs a coordinated approach where everyone plays their part, from institutional training and support for ethical publishing practices in institutions, to increased transparency from publishers, and to infrastructures like DOAJ which provide metadata and standards.
*************
No hay comentarios:
Publicar un comentario