Publicado en Nature
https://www.nature.com/articles/d41586-024-01672-7
El mercado negro de las citas: la venta de referencias falsas alarma a los científicos
Aumentan las formas en que los investigadores pueden inflar artificialmente sus recuentos de referencias.
Por Dalmeet Singh Chawla
Los observadores de la integridad de la investigación están preocupados por las crecientes formas en que los científicos pueden falsificar o manipular los recuentos de citas de sus estudios. En los últimos meses han salido a la luz prácticas cada vez más audaces. Una de ellas se descubrió en una operación encubierta en la que un grupo de investigadores compró 50 citas para rellenar el perfil de Google Scholar de un científico falso que habían creado.
Los científicos compraron las citas por 300 dólares a una empresa que parece vender citas falsas al por mayor. Según el equipo, esto confirma la existencia de un mercado negro de referencias falsas sobre el que los detectives de la integridad de la investigación llevan mucho tiempo especulando.
«Empezamos a detectar varios perfiles de Google Scholar con tendencias de citas cuestionables», explica Yasir Zaki, informático de la Universidad de Nueva York (NYU) de Abu Dhabi, cuyo equipo describió su operación encubierta en un preprint publicado en febrero1. «Cuando un manuscrito adquiere cientos de citas a los pocos días de su publicación, o cuando un científico tiene un aumento abrupto y grande de citas, sabes que algo va mal».
Estas prácticas son problemáticas porque muchos aspectos de la carrera de un investigador dependen del número de referencias que consigan sus trabajos. Muchas instituciones utilizan el recuento de citas para evaluar a los científicos, y las cifras de citas informan métricas como el índice h, que pretende medir la productividad de los académicos y el impacto de sus estudios.m
La manipulación de citas puede tener consecuencias reales. En junio, el diario español El País informó de que el Comité de Ética de la Investigación había instado a la Universidad de Salamanca a investigar el trabajo de su recién nombrado rector, Juan Manuel Corchado, un informático acusado de aumentar artificialmente sus métricas en Google Scholar. (Corchado no respondió a la solicitud de comentarios de Nature).
Referencias en venta
Según Cyril Labbé, informático de la Universidad de Grenoble Alpes (Francia), los observadores de la integridad de la investigación ya sospechaban que las citaciones se venden en las papeleras, servicios que producen estudios de baja calidad y venden autorías en artículos ya aceptados. «Las fábricas de artículos tienen la capacidad de insertar citas en los artículos que venden», afirma.
En noviembre de 2023, la empresa de análisis Clarivate, de Filadelfia (Pensilvania), excluyó a más de 1.000 investigadores de su lista anual de investigadores más citados por temor al juego de citas y a la «hiperpublicación».
En su operación encubierta, Zaki y sus colegas crearon un perfil de Google Scholar para un científico ficticio y subieron 20 estudios inventados creados mediante inteligencia artificial.
El equipo se puso entonces en contacto con una empresa, que encontraron al analizar citas sospechosas vinculadas a uno de los autores de su conjunto de datos, que parecía estar vendiendo citas a perfiles de Google Scholar. Los autores del estudio se pusieron en contacto con la empresa por correo electrónico y posteriormente se comunicaron por WhatsApp. La empresa ofrecía 50 citas por 300 dólares o 100 citas por 500 dólares. Los autores optaron por la primera opción y, 40 días después, 50 citas de estudios en 22 revistas -14 de las cuales están indexadas en la base de datos académica Scopus- se añadieron al perfil de Google Scholar del investigador ficticio.
El equipo no ha revelado a Nature el nombre de la empresa, por temor a que su revelación pudiera llamar la atención sobre su sitio web o sobre el perfil falso de Google Scholar que crearon, ya que esto podría revelar la identidad de los autores de los estudios que colocaron las citas falsas. A la pregunta de Nature de si Google Scholar es consciente de que se pueden crear perfiles falsos en su sitio web, Anurag Acharya, ingeniero distinguido de la empresa, respondió: «Aunque es posible que se produzcan conductas académicas indebidas, son raras porque todos los aspectos son visibles: artículos indexados, artículos incluidos por un autor en su perfil, artículos que citan a un autor, dónde están alojados los artículos que citan, etcétera. Cualquiera en el mundo puede llamarte la atención».
En otra demostración de manipulación de citas, el mes pasado unos investigadores crearon un perfil falso de Google Scholar para un gato llamado Larry en el que aparecía una docena de artículos falsos con Larry como único autor. Los investigadores publicaron una docena más de estudios sin sentido en la red social académica ResearchGate que citaban los artículos de Larry. Una semana después de que se revelara la identidad de Larry, Google Scholar eliminó los estudios del gato, los que citaban a Larry y las citas acumuladas. ResearchGate también ha eliminado los estudios falsos que citaban a Larry.
Preprints falsos
La operación encubierta de Zaki y sus colegas surgió de un esfuerzo más amplio por evaluar la magnitud del problema de las citas falsas. Utilizaron un programa informático para examinar alrededor de 1,6 millones de perfiles de Google Scholar que tenían al menos 10 publicaciones. Buscaron perfiles con más de 200 citas y casos en los que las citas de los investigadores se multiplicaban por 10 o más cada año o cuando el aumento representaba un incremento de al menos el 25% de su número total de citas. El equipo encontró 1.016 perfiles de este tipo.
Zaki afirma que muchas de las citas de los artículos de esos perfiles proceden de artículos preprints que no han sido revisados por pares y que suelen aparecer en las bibliografías de los artículos, pero no se citan en el cuerpo principal de los manuscritos.
«Las citas pueden manipularse fácilmente creando preprints falsos y a través de servicios de pago», afirma el coautor Talal Rahwan, informático de la NYU de Abu Dhabi.
Los autores también encuestaron a 574 investigadores que trabajan en las 10 universidades mejor clasificadas del mundo. Descubrieron que de las universidades que tienen en cuenta el recuento de citas a la hora de evaluar a los científicos, más del 60% obtienen estos datos de Google Scholar.
Patrones sospechosos
A Labbé no le convence la afirmación de la encuesta de que Google Scholar se utiliza ampliamente para obtener las métricas de citas de los investigadores. Según Labbé, en el pasado ya han aparecido acusaciones de manipulación de citas en Google Scholar, y los académicos sospechan desde hace tiempo que hay vendedores que ofrecen este tipo de servicios. Pero la operación encubierta para descubrir a un vendedor de citas es la primera de este tipo, afirma.
Guillaume Cabanac, informático de la Universidad de Toulouse (Francia) que ha creado una herramienta para detectar artículos falsos con frases extrañas añadidas para eludir los programas de detección de plagio, afirma que muchos estudios aparecen con citas de trabajos que no tienen nada que ver con el tema del estudio.
El equipo de Labbé está creando una herramienta que detecta automáticamente patrones de citación sospechosos de manipulación.
Uno de los temores de los detectives de la integridad es que los defraudadores ideen prácticas más sutiles para evitar ser descubiertos. Por ejemplo, una forma de evitar ser detectado por el índice de concentración de citas, señala Labbé, es comprar unas pocas citas cada vez y no en grandes cantidades.
Para Labbé, la forma de abordar el juego de las citas es cambiar los incentivos en el mundo académico para que los científicos no se vean presionados a acumular el mayor número posible de citas para progresar en sus carreras. «La presión por publicar y citar es perjudicial para el comportamiento de los científicos», afirma.
***********************************
The citation black market: schemes selling fake references alarm scientists
The ways in which researchers can artificially inflate their reference counts are growing.
Research-integrity watchers are concerned about the growing ways in which scientists can fake or manipulate the citation counts of their studies. In recent months, increasingly bold practices have surfaced. One approach was revealed through a sting operation in which a group of researchers bought 50 citations to pad the Google Scholar profile of a fake scientist they had created.
The scientists bought the citations for US$300 from a firm that seems to sell bogus citations in bulk. This confirms the existence of a black market for faked references that research-integrity sleuths have long speculated about, says the team.
“We started to notice several Google Scholar profiles with questionable citation trends,” says Yasir Zaki, a computer scientist at New York University (NYU) Abu Dhabi, whose team described its sting operation in a February preprint1. “When a manuscript acquires hundreds of citations within days of publication, or when a scientist has an abrupt and large rise in citations, you know something is wrong.”
These practices are troublesome because many aspects of a researcher’s career depend on how many references their papers garner. Many institutions use citation counts to evaluate scientists, and citation numbers inform metrics such as the h-index, which aims to measure scholars’ productivity and the impact of their studies.
Citation manipulation can have real consequences. In June, Spanish newspaper El País reported that the country’s Research Ethics Committee has urged the University of Salamanca to investigate the work of its newly appointed rector, Juan Manuel Corchado, a computer scientist accused of artificially boosting his Google Scholar metrics. (Corchado did not respond to Nature’s request for comment.)
References for saleResearch-integrity watchers had already suspected that citations are for sale at paper mills, services that churn out low-quality studies and sell authorship slots on already-accepted papers, says Cyril Labbé, a computer scientist at Grenoble Alpes University in France. “Paper mills have the ability to insert citations into papers that they are selling,” he says.
In November 2023, analytics firm Clarivate in Philadelphia, Pennsylvania, excluded more than 1,000 researchers from its annual list of highly cited researchers because of fears of citation gaming and ‘hyper-publishing’.
In their sting operation, Zaki and his colleagues created a Google Scholar profile for a fictional scientist and uploaded 20 made-up studies that were created using artificial intelligence.
The team then approached a company, which they found while analysing suspicious citations linked to one of the authors in their data set, that seemed to be selling citations to Google Scholar profiles. The study authors contacted the firm by e-mail and later communicated through WhatsApp. The company offered 50 citations for $300 or 100 citations for $500. The authors opted for the first option and 40 days later 50 citations from studies in 22 journals — 14 of which are indexed by scholarly database Scopus — were added to the fictional researcher’s Google Scholar profile.
The team didn’t share the company’s name with Nature, citing concerns that revealing it could draw attention to its website, or the fake Google Scholar profile they created, because this might reveal the identities of the authors of the studies that planted the fake citations. Asked by Nature whether Google Scholar is aware that faked profiles can be created on its site, Anurag Acharya, distinguished engineer at the company said: “While academic misbehaviour is possible, it’s rare because all aspects are visible — articles indexed, articles included by an author on their profile, articles citing an author, where the citing articles are hosted and so on. Anyone in the world can call you on it.”
In another demonstration of citation manipulation, last month researchers created a fake Google Scholar profile for a cat called Larry listing a dozen fake papers with Larry as the sole author. The researchers posted a dozen more nonsensical studies on the academic social-networking site ResearchGate that cited Larry’s papers. A week or so after Larry’s identity was revealed, Google Scholar removed the cat’s studies, those citing Larry, and the accumulated citations. ResearchGate has also removed the bogus studies citing Larry.
Fake preprintsZaki and colleagues’ sting operation was born out of a broader effort to assess the scale of the fake-citation problem. They used software to examine about 1.6 million Google Scholar profiles that had at least 10 publications. They searched for profiles with more than 200 citations and instances in which researchers’ citations increased by 10 times or more each year or when the rise represented a jump of at least 25% of their total citation count. The team found 1,016 such profiles.
Zaki says that many citations to the papers on those profiles are from preprint articles that haven’t been peer reviewed and that they are typically listed in the bibliographies of papers but not cited in the main body of the manuscripts.
“Citations can easily be manipulated by creating fake preprints and through paid services,” says co-author Talal Rahwan, a computer scientist at NYU Abu Dhabi.
The authors also surveyed 574 researchers working at the 10 highest-ranked universities in the world. They found that of those universities that consider citation counts when evaluating scientists, more than 60% obtain these data from Google Scholar.
Fishy patterns Labbé isn’t convinced by the survey’s claim that Google Scholar is widely used to obtain researchers’ citation metrics. Allegations of citation manipulation on Google Scholar have surfaced in the past, he says, and academics have long suspected that there are vendors offering this sort of service. But the sting operation to reveal a citation seller is the first of its kind, he says.
Guillaume Cabanac, a computer scientist at the University of Toulouse in France who has created a tool that flags fabricated papers that contain odd turns of phrase added to circumvent plagiarism-detection software, says that many studies are cropping up with citations to work that has nothing to do with the topic of the study.
Labbé’s team is building a tool that automatically flags fishy citation patterns that might point to manipulation.
One fear among integrity sleuths is that fraudsters will conceive subtler practices to avoid being found out. For instance, one way to avoid being detected by the citation-concentration index, Labbé notes, is to buy a few citations at a time and not in bulk.
For Labbé, the way to address citation gaming is to change the incentives in academia so that scientists are not under pressure to accumulated as many citations as possible to progress their careers. “The pressure for publication and citation is detrimental to the behaviour of scientists,” he says.
doi: https://doi.org/10.1038/d41586-024-01672-7
References
