Publicado en Science
https://www.science.org/content/article/citation-cartels-help-some-mathematicians-and-their-universities-climb-rankings
Los cárteles de las citas ayudan a algunos matemáticos -y a sus universidades- a subir en las clasificaciones
La manipulación generalizada de las citas ha hecho que todo el campo de las matemáticas quede excluido de la influyente lista de los mejores investigadores
30 ENE 2024
POR MICHELE CATANZARO
Grupos de matemáticos de instituciones de China, Arabia Saudí y otros países han estado aumentando artificialmente el número de citas de sus colegas mediante la producción de artículos de baja calidad que hacen referencia repetidamente a su trabajo, según un análisis inédito visto por Science. Como resultado, sus universidades -algunas de las cuales no parecen tener departamentos de matemáticas- producen ahora un mayor número de artículos sobre matemáticas muy citados cada año que las escuelas con un sólido historial en este campo, como las universidades de Stanford y Princeton.
Estos llamados "cárteles de citas" parecen estar intentando mejorar la clasificación de sus universidades, según los expertos en prácticas de publicación. "Hay mucho en juego: los movimientos en las rankings pueden costar o hacer ganar a las universidades decenas de millones de dólares", afirma Cameron Neylon, profesor de comunicación de la investigación en la Universidad de Curtin. "Es inevitable saltarse las normas para mejorar su posición". En respuesta a estas prácticas, la empresa de análisis editorial Clarivate ha excluido todo el campo de las matemáticas de la edición más reciente de su influyente lista de autores de artículos muy citados, que se publicará en noviembre de 2023.
Este sorprendente análisis es obra de Domingo Docampo, matemático de la Universidad de Vigo interesado desde hace tiempo en los sistemas de clasificación de las universidades. En los últimos años, Docampo se había dado cuenta de que la lista de investigadores altamente citados (HCR) de Clarivate estaba siendo ocupada gradualmente por matemáticos menos conocidos. "Había gente que publicaba en revistas que ningún matemático serio lee, cuyo trabajo era citado por artículos que ningún matemático serio leería, procedentes de instituciones que nadie conoce en matemáticas", dice. Así que decidió profundizar en los datos de Clarivate de los últimos 15 años para explorar exactamente qué universidades publicaban artículos muy citados y quién los citaba.
Yueh-Sheng Chen, secretario jefe de la Universidad Médica de China, afirma que su universidad no participaba en esta práctica. "No sabemos nada de las citas selectivas y no estamos implicados en esa manipulación", afirma. La participación de "expertos y académicos de renombre internacional en campos como las matemáticas aplicadas" forma parte del enfoque interdisciplinar de la institución en el ámbito de la medicina, añade. La Universidad Rey AbdulAziz no respondió a la solicitud de comentarios de Science.
Clarivate declinó hacer comentarios al respecto. Sin embargo, en las declaraciones en línea sobre su decisión de excluir a los matemáticos de la lista HCR más reciente, la empresa dice que estaba preocupada por "las estrategias para optimizar el estatus y las recompensas a través de la publicación y la manipulación de citas, especialmente a través de la citación selectiva de artículos publicados muy recientemente". Las matemáticas son especialmente vulnerables a la manipulación porque el campo es pequeño, escribe la empresa. "La tasa media de publicación y citación... es relativamente baja, por lo que pequeños aumentos en la publicación y la citación tienden a distorsionar la representación y el análisis del campo en general".
Félix de Moya Anegón, bibliometrista de la Universidad de Granada, afirma que la manipulación de las citas también ocurre en otras disciplinas más amplias, pero no es tan visible. A Ilka Agricola, presidenta del Comité de Información y Comunicación Electrónicas de la Unión Matemática Internacional, le preocupa que, al señalar a las matemáticas, Clarivate pueda haber transmitido la impresión de que este campo está infiltrado por "científicos fraudulentos". "Lamentamos mucho que no se haya visto otra opción que dejar de incluir las matemáticas en la lista", afirma.
Clarivate dice que está recibiendo "asesoramiento de expertos externos... para debatir nuestro futuro enfoque del análisis de este campo". Docampo está trabajando en una métrica más refinada, que pondera las citas en función de la calidad de las revistas e instituciones que las citan.
Otros investigadores afirman que la manipulación de las citas es simplemente un síntoma de un sistema de evaluación defectuoso. Según Ismael Rafols, investigador del Centro de Estudios de Ciencia y Tecnología de la Universidad de Leiden, las citas y otras métricas similares no son lo bastante refinadas como para controlar el rendimiento individual, y la gente siempre va a encontrar formas de manipular el sistema. Holden está de acuerdo: "La conclusión es que las citas no son una buena medida de la calidad científica".
*********************************
Citation cartels help some mathematicians—and their universities—climb the rankings
Widespread citation manipulation has led entire field of math to be excluded from influential list of top researchers
30 JAN 2024
BY MICHELE CATANZARO
Cliques of mathematicians at institutions in China, Saudi Arabia, and elsewhere have been artificially boosting their colleagues’ citation counts by churning out low-quality papers that repeatedly reference their work, according to an unpublished analysis seen by Science. As a result, their universities—some of which do not appear to have math departments—now produce a greater number of highly cited math papers each year than schools with a strong track record in the field, such as Stanford and Princeton universities.
These so-called “citation cartels” appear to be trying to improve their universities’ rankings, according to experts in publication practices. “The stakes are high—movements in the rankings can cost or make universities tens of millions of dollars,” says Cameron Neylon, a professor of research communication at Curtin University. “It is inevitable that people will bend and break the rules to improve their standing.” In response to such practices, the publishing analytics company Clarivate has excluded the entire field of math from the most recent edition of its influential list of authors of highly cited papers, released in November 2023.
The startling new analysis is the work of Domingo Docampo, a mathematician at the University of Vigo with a long-standing interest in university ranking systems. Over the past few years, Docampo had noticed that Clarivate’s list of highly cited researchers (HCRs) was gradually being taken over by lesser known mathematicians. “There were people that published in journals that no serious mathematician reads, whose work was cited by articles that no serious mathematicians would read, coming from institutions that nobody knows in mathematics,” he says. So he decided to delve into Clarivate’s data from the past 15 years to explore exactly which universities were publishing highly cited papers and who was citing them.
Yueh-Sheng Chen, chief secretary of China Medical University, says his university did not engage in the practice. “We know nothing about the targeted citation and are not involved in such manipulation,” he says. The involvement of “internationally renowned experts and scholars in fields such as applied mathematics” is part of the institution’s interdisciplinary approach to medicine, he adds. King AbdulAziz University did not reply to Science’s request for comment.
Clarivate declined to comment on the issue. However, in online statements about its decision to exclude mathematicians from the most recent HCR list, the company says it was concerned by “strategies to optimize status and rewards through publication and citation manipulation, especially through targeted citation of very recently published papers.” Math is especially vulnerable to manipulation because the field is small, the company writes. “The average rate of publication and citation … is relatively low, so small increases in publication and citation tend to distort the representation and analysis of the overall field.”
But citation manipulation is happening in other, larger disciplines, too, says Félix de Moya Anegón, a bibliometrician at the University of Granada—it’s just not as visible. Ilka Agricola, chair of the Committee on Electronic Information and Communication of the International Mathematical Union, worries that by singling out math, Clarivate may have conveyed the impression that the field is infiltrated by “fraudulent scientists.” “We very much regret that no other option was seen than to no longer list mathematics at all,” she says.
Clarivate says it is taking “advice from external experts … to discuss our future approach to the analysis of this field.” Docampo is working on a more refined metric, which weights citations according to the quality of the citing journals and institutions.
Other researchers say citation manipulation is simply a symptom of a flawed system of evaluation. Citations and similar metrics are not refined enough to monitor individual performance, says Ismael Rafols, a researcher at the Centre for Science and Technology Studies of the University of Leiden, and people are always going to find ways to game the system. Holden agrees: “The bottom line is that citations are not a good measure of scientific quality.”
doi: 10.1126/science.zcl2s6d
