Publicado en Nature
https://www.nature.com/articles/d41586-024-00629-0
06 de marzo de 2024
China tiene una lista de revistas sospechosas y acaba de actualizarla
Nature habla con el bibliotecario que está detrás de la Lista de Revistas de Alerta Temprana de China sobre cómo se elabora cada año.
Por Smriti Mallapaty
La Biblioteca Nacional de Ciencias de la Academia China de Ciencias, en Pekín.
China ha actualizado su lista de revistas consideradas poco fiables, depredadoras o que no sirven a los intereses de la comunidad investigadora china. Denominada Early Warning Journal List, la última edición (latest edition), publicada el mes pasado, incluye 24 revistas de una docena de editoriales. Por primera vez, se señala a las revistas que muestran una mala conducta denominada manipulación de citas, en la que los autores intentan inflar su número de citas.
Yang Liying estudia la literatura académica en la Biblioteca Nacional de Ciencias de la Academia China de Ciencias, en Pekín. Dirige un equipo de unos 20 investigadores que elaboran la lista anual, lanzada en 2020 y basada en las opiniones de la comunidad investigadora mundial y en el análisis de datos bibliométricos.
La lista es cada vez más influyente. Se hace referencia a ella en los avisos enviados por los ministerios chinos para abordar la mala conducta académica, y se comparte ampliamente en los sitios web institucionales de todo el país. Las revistas incluidas en la lista suelen ver cómo disminuyen los envíos de autores chinos. Este es el primer año que el equipo revisa su método de elaboración de la lista; Yang habla con Nature sobre el proceso y lo que ha cambiado.
¿Cómo elaboran la lista cada año?
Empezamos recogiendo información de investigadores y administradores chinos, y seguimos los debates mundiales sobre nuevas formas de mala conducta para determinar los problemas en los que centrarnos. En enero, analizamos los datos brutos de la base de datos de citas científicas Web of Science, facilitados por la empresa de análisis editorial Clarivate, con sede en Londres, y elaboramos una lista preliminar de revistas. La compartimos con los editores pertinentes y les explicamos por qué sus revistas podrían acabar en la lista.
A veces, los editores nos dan su opinión y argumentan en contra de la inclusión de su revista. Si su respuesta es razonable, la eliminaremos. Agradecemos las sugerencias para mejorar nuestro trabajo. Nunca consideramos que la lista de revistas sea perfecta. Este año, las conversaciones con los editores redujeron la lista de 50 a 24 revistas.
¿Qué cambios se han introducido este año?
En años anteriores, las revistas se clasificaban como de riesgo alto, medio o bajo. Este año no informamos de los niveles de riesgo porque eliminamos la categoría de bajo riesgo, y también nos dimos cuenta de que los investigadores chinos ignoran las categorías de riesgo y simplemente evitan las revistas de la lista. En su lugar, explicamos por qué la revista está en la lista.
En años anteriores, incluíamos revistas cuyo número de publicaciones aumentaba muy rápidamente. Por ejemplo, si una revista publicaba 1.000 artículos un año y 5.000 al año siguiente, nuestra lógica inicial era que a estas revistas les resultaría difícil mantener sus procedimientos de control de calidad. Este año hemos eliminado este criterio. El cambio hacia el acceso abierto ha hecho posible que las revistas reciban un gran número de manuscritos y, por tanto, aumenten rápidamente su número de artículos. No queremos perturbar este proceso natural decidido por el mercado.
También ha introducido revistas con patrones de citación anormales. ¿Por qué?
Nos hemos dado cuenta de que ha habido mucho debate sobre el tema entre investigadores de todo el mundo. Nos resulta difícil decir si el problema proviene de las revistas o de los propios autores. A veces, grupos de autores acuerdan mutuamente esta manipulación de citas, o recurren a fábricas de artículos, que producen trabajos de investigación falsos. Identificamos estas revistas buscando tendencias en los datos de citas proporcionados por Clarivate; por ejemplo, revistas en las que las referencias de los manuscritos están muy sesgadas hacia un número de la revista o artículos cuyos autores son unos pocos investigadores. El año que viene tenemos previsto investigar nuevas formas de manipulación de citas.
Nuestro trabajo parece tener impacto en los editores. Muchas editoriales nos han dado las gracias por alertarles de los problemas en sus revistas, y algunas han iniciado sus propias investigaciones. Un ejemplo de este año es la editorial de acceso abierto MDPI, con sede en Basilea (Suiza), a la que informamos de que cuatro de sus revistas se incluirían en nuestra lista debido a la manipulación de citas. Quizás no tenga nada que ver, pero el 13 de febrero, MDPI envió un aviso de que estaba investigando una posible mala conducta de los revisores en relación con prácticas de citación poco éticas en 23 de sus revistas.
También señala las revistas que publican una elevada proporción de trabajos de investigadores chinos. ¿Por qué es motivo de preocupación?
No es un criterio que utilicemos por sí solo. Estas revistas publican -a veces casi exclusivamente- artículos de investigadores chinos, cobran tasas de procesamiento de artículos excesivamente altas y tienen un bajo impacto de citación. Desde el punto de vista chino, esto es preocupante porque somos un país en desarrollo y queremos hacer un buen uso de nuestros fondos de investigación para publicar nuestros trabajos en revistas verdaderamente internacionales y contribuir así a la ciencia mundial. Si los científicos publican en revistas donde casi todos los manuscritos proceden de investigadores chinos, nuestros administradores sugerirán que, en su lugar, el trabajo se envíe a una revista local. De ese modo, los investigadores chinos pueden leerlo y aprender de él rápidamente y no necesitan pagar tanto para publicarlo. Este es un reto al que se ha enfrentado la comunidad investigadora china en los últimos años.
¿Cómo se determina si una revista tiene un problema de «paper-mill»?
Mi equipo recopila información publicada en las redes sociales y en sitios web como PubPeer, donde los usuarios debaten sobre artículos publicados, y el blog sobre integridad de la investigación For Better Science. Actualmente no hacemos nosotros mismos las comprobaciones de imágenes o texto, pero podríamos empezar a hacerlo más adelante.
Mi equipo también ha creado una base de datos en línea de artículos cuestionables llamada Amend, a la que pueden acceder los investigadores. Recopilamos información sobre retractaciones de artículos, avisos de preocupación, correcciones y artículos que han sido señalados en las redes sociales.
¿Qué impacto ha tenido la lista en la investigación en China?
Esta lista ha beneficiado a la comunidad investigadora china. La mayoría de los institutos de investigación y universidades chinos hacen referencia a nuestra lista, pero también pueden elaborar sus propias versiones. Todos los años recibimos críticas de algunos investigadores por incluir revistas en las que ellos publican. Pero también recibimos mucho apoyo de quienes están de acuerdo en que las revistas incluidas en la lista son de baja calidad, lo que perjudica al ecosistema investigador chino.
Ha habido muchas retractaciones desde China en revistas de nuestra lista. Y una vez que una revista entra en la lista, los envíos de investigadores chinos suelen descender (véase «Marked down»). Esto explica por qué muchas revistas de nuestra lista quedan excluidas al año siguiente: no se trata de una lista acumulativa.
doi: https://doi.org/10.1038/d41586-024-00629-0
***************************************************
NEWS Q&A
06 March 2024
Nature talks to the librarian behind China’s Early Warning Journal List about how it is compiled each year.
The National Science Library of the Chinese Academy of Sciences in Beijing.Credit: Yang Qing/Imago via Alamy
China has updated its list of journals that are deemed to be untrustworthy, predatory or not serving the Chinese research community’s interests. Called the Early Warning Journal List, the latest edition, published last month, includes 24 journals from about a dozen publishers. For the first time, it flags journals that exhibit misconduct called citation manipulation, in which authors try to inflate their citation counts.
Yang Liying studies scholarly literature at the National Science Library, Chinese Academy of Sciences, in Beijing. She leads a team of about 20 researchers who produce the annual list, which was launched in 2020 and relies on insights from the global research community and analysis of bibliometric data.
The list is becoming increasingly influential. It is referenced in notices sent out by Chinese ministries to address academic misconduct, and is widely shared on institutional websites across the country. Journals included in the list typically see submissions from Chinese authors drop. This is the first year the team has revised its method for developing the list; Yang speaks to Nature about the process, and what has changed.
How do you go about creating the list every year?We start by collecting feedback from Chinese researchers and administrators, and we follow global discussions on new forms of misconduct to determine the problems to focus on. In January, we analyse raw data from the science-citation database Web of Science, provided by the publishing-analytics firm Clarivate, based in London, and prepare a preliminary list of journals. We share this with relevant publishers, and explain why their journals could end up on the list.
Sometimes publishers give us feedback and make a case against including their journal. If their response is reasonable, we will remove it. We appreciate suggestions to improve our work. We never see the journal list as a perfect one. This year, discussions with publishers cut the list from around 50 journals down to 24.
What changes did you make this year?In previous years, journals were categorized as being high, medium or low risk. This year, we didn’t report risk levels because we removed the low-risk category, and we also realized that Chinese researchers ignore the risk categories and simply avoid journals on the list altogether. Instead, we provided an explanation of why the journal is on the list.
In previous years, we included journals with publication numbers that increased very rapidly. For example, if a journal published 1,000 articles one year and then 5,000 the next year, our initial logic was that it would be hard for these journals to maintain their quality-control procedures. We have removed this criterion this year. The shift towards open access has meant that it is possible for journals to receive a large number of manuscripts, and therefore rapidly increase their article numbers. We don’t want to disturb this natural process decided by the market.
You also introduced journals with abnormal patterns of citation. Why?We noticed that there has been a lot of discussion on the subject among researchers around the world. It’s hard for us to say whether the problem comes from the journals or from the authors themselves. Sometimes groups of authors agree to this citation manipulation mutually, or they use paper mills, which produce fake research papers. We identify these journals by looking for trends in citation data provided by Clarivate — for example, journals in which manuscript references are highly skewed to one journal issue or articles authored by a few researchers. Next year, we plan to investigate new forms of citation manipulation.
Our work seems to have an impact on publishers. Many publishers have thanked us for alerting them to the issues in their journals, and some have initiated their own investigations. One example from this year is the open-access publisher MDPI, based in Basel, Switzerland, which we informed that four of its journals would be included in our list because of citation manipulation. Perhaps it is unrelated, but on 13 February, MDPI sent out a notice that it was looking into potential reviewer misconduct involving unethical citation practices in 23 of its journals.
You also flag journals that publish a high proportion of papers from Chinese researchers. Why is this a concern?This is not a criterion we use on its own. These journals publish — sometimes almost exclusively — articles by Chinese researchers, charge unreasonably high article processing fees and have a low citation impact. From a Chinese perspective, this is a concern because we are a developing country and want to make good use of our research funding to publish our work in truly international journals to contribute to global science. If scientists publish in journals where almost all the manuscripts come from Chinese researchers, our administrators will suggest that instead the work should be submitted to a local journal. That way, Chinese researchers can read it and learn from it quickly and don’t need to pay so much to publish it. This is a challenge that the Chinese research community has been confronting in recent years.
How do you determine whether a journal has a paper-mill problem?My team collects information posted on social media as well as websites such as PubPeer, where users discuss published articles, and the research-integrity blog For Better Science. We currently don’t do the image or text checks ourselves, but we might start to do so later.
My team has also created an online database of questionable articles called Amend, which researchers can access. We collect information on article retractions, notices of concern, corrections and articles that have been flagged on social media.
What impact has the list had on research in China?
This list has benefited the Chinese research community. Most Chinese research institutes and universities reference our list, but they can also develop their own versions. Every year, we receive criticisms from some researchers for including journals that they publish in. But we also receive a lot of support from those who agree that the journals included on the list are of low quality, which hurts the Chinese research ecosystem.
There have been a lot of retractions from China in journals on our list. And once a journal makes it on to the list, submissions from Chinese researchers typically drop (see ‘Marked down’). This explains why many journals on our list are excluded the following year — this is not a cumulative list.
doi: https://doi.org/10.1038/d41586-024-00629-0
