"¡Quemadlo con fuego!" - El uso de ChatGPT «polariza» a los revisores

Publicado en THE Times Higher Education
https://www.timeshighereducation.com/news/corrupting-chatgpt-use-polarises-peer-reviewers 

Quemadlo con fuego. El uso de ChatGPT «polariza» a los revisores

Una encuesta mundial entre revisores revela una profunda desconfianza hacia ChatGPT, y algunos piden la prohibición total de su uso en la investigación y el mundo académico.

14 de mayo de 2024

Jack Grove

Twitter: @jgro_the

Menos de un tercio de los investigadores cree que la inteligencia artificial (IA) tendrá un impacto positivo en la revisión por pares, según una nueva encuesta que revela el profundo malestar de los académicos sobre la tecnología.

En una encuesta realizada a más de 3.000 académicos por IOP Publishing, la rama editorial del Instituto de Física del Reino Unido, sólo el 29% de los encuestados opinaba que la IA generativa mejoraría la revisión por pares. Algunos afirman que la IA podría ayudar a comprobar el plagio y la calidad del inglés de los manuscritos, lo que ayudaría a los editores a filtrar los manuscritos problemáticos o de baja calidad antes de someterlos a la revisión por pares.

Sin embargo, una proporción mayor -el 35%- cree que la IA generativa tendría un impacto perjudicial en la revisión por pares, y varios encuestados ven la tecnología de forma totalmente negativa.

«La IA es hasta ahora muy poco inteligente... nunca podría responder correctamente a mis preguntas en línea», comentó uno de los encuestados, que consideraba la tecnología “una herramienta para corromper la moral humana”. Otro describió la IA como «una herramienta destructiva para la humanidad» que debería estar «completamente prohibida en el mundo académico y de la investigación», aunque fuera útil para algunas industrias.

Otro respondió simplemente: «La IA es malvada, ¡quemadla con fuego!». 

Alrededor del 36% de los participantes en la encuesta, que forma parte del informe State of Peer Review 2024 de la IOP, publicado el 14 de mayo, afirma que tendría un efecto neutro o ningún impacto en la revisión por pares.

Los autores del informe describen las respuestas a la IA como «extremadamente diversas», con una cuestión que «polariza» a los revisores.

Muchos de los encuestados afirman que la tecnología, que desató la polémica el año pasado cuando un revisor recomendó una lista de lectura generada por ChatGPT con eruditos imaginarios, podría desempeñar un papel a la hora de aprobar o rechazar artículos, aunque la crítica humana de los artículos seguiría siendo esencial.

Según el informe, «la respuesta más común a esta pregunta fue que las herramientas de IA generativa pueden proporcionar algunos resultados útiles, pero siempre es necesaria la verificación y edición por parte de expertos humanos antes de utilizar cualquier texto generado por IA en el proceso de revisión por pares».

Según el informe, el uso de IA generativa para redactar o aumentar los informes de revisión por pares plantea «una serie de cuestiones éticas, como la protección de datos y la violación de la confidencialidad, así como dudas sobre la veracidad y exactitud de los informes de los revisores».

En la actualidad, IOP Publishing no permite el uso de IA generativa para redactar o aumentar los informes de revisión por pares, ni acepta que las herramientas de IA generativa figuren como autores de manuscritos.

No obstante, el informe también destaca las «oportunidades» de la IA, incluida la «edición lingüística», y afirma que «las políticas editoriales en torno a la IA generativa deben ser adaptables y justas».

En el informe de la IOP también se pregunta a los académicos sobre el volumen de solicitudes de revisión por pares que reciben, y exactamente el 50% afirma que el número de solicitudes ha aumentado en los últimos tres años, el 11% que el volumen ha disminuido y el 39% que se ha mantenido constante.

Los académicos europeos son más propensos a recibir un número considerable de solicitudes de revisión por pares: el 24% recibe tres o más solicitudes al mes. Por el contrario, en China y la India, sólo el 16% y el 15%, respectivamente, reciben tres o más solicitudes al mes

****************************

‘Burn it with fire!’ ChatGPT use ‘polarises’ peer reviewers

Global survey of peer reviewers reveals deep distrust towards ChatGPT, with some calling for a complete ban on its use in research and academia

May 14, 2024

Jack Grove

Twitter: @jgro_the

Less than a third of researchers believe artificial intelligence (AI) will have a positive impact on peer review, according to a new poll that reveals scholars’ deep unease about the technology.

In a survey of more than 3,000 academics by IOP Publishing, the publishing arm of the UK’s Institute of Physics, just 29 per cent of respondents felt generative AI would improve peer review. Some claim AI could help to check manuscripts for plagiarism and English language quality, which would help editors to filter out problematic or low-quality manuscripts before they go out for peer review. 

However, a larger proportion – 35 per cent – believe generative AI would have a harmful impact on peer review, with several respondents viewing the technology in an entirely negative light.

“AI is so far very unintelligent…it could never answer my questions properly online,” commented one respondent, who felt the technology was a “a tool of corrupting human moral standard”. Another described AI as “a destructive tool for mankind” which should be “completely banned in academia and research”, even if it was useful for some industries.

Another replied simply: “AI is evil, burn it with fire!”   

Some 36 per cent of respondents to the survey, part of the IOP’s State of Peer Review 2024 report, published on 14 May, say it would have a neutral effect or no impact whatsoever on peer review.

The report’s authors describe the responses towards AI as “extremely diverse” with the issue “polarising” reviewers.

Many respondents claim the technology, which has sparked controversy in the past year when a peer reviewer recommended a ChatGPT-generated reading list containing imaginary scholars, could play a role in approving or rejecting papers, although human critique of papers would remain essential.   

According to the report, the “most common response to this question was that generative AI tools can provide some useful outputs, but expert human verification and editing is always required before any AI-generated text is used in the peer review process”.

The use of generative AI to write or augment peer review reports raised “a number of ethical issues, including data protection and breaches of confidentiality, and concerns about the veracity and accuracy of reviewer reports”, says the report.

Currently, IOP Publishing does not allow the use of generative AI to write or augment peer review reports, nor does it accept generative AI tools to be named as authors of manuscripts.

The report also highlights, however, the “opportunities” of AI, including “language editing”, stating that “publisher policies around generative AI need to be adaptable and fair”.

The IOP report also quizzed scholars about the volume of peer review requests they receive, with exactly 50 per cent stating the number of requests had increased in the past three years, 11 per cent saying the volume had decreased and 39 per cent saying it had remained constant.

Academics in Europe are more likely to receive substantial numbers of requests for peer review, with 24 per cent receiving three or more requests per month. That compared with those in China and India, where only 16 per cent and 15 per cent respectively received three or more requests per month.

***************

más presión = más errores. La mentalidad de «publicar o perecer» alimenta las retractaciones de artículos de investigación y socava la ciencia

Publicado en The Conversation
https://theconversation.com/the-publish-or-perish-mentality-is-fuelling-research-paper-retractions-and-undermining-science-238983 

La mentalidad de «publicar o perecer» alimenta las retractaciones de artículos de investigación y socava la ciencia

Publicado: 24 de septiembre de 2024 

Nham Tran

Profesor Asociado y Becario REDI de MTP Connect, Universidad Tecnológica de Sídney     

Cuando los científicos hacen descubrimientos importantes, ya sean grandes o pequeños, suelen publicarlos en revistas científicas para que otros los lean. Este intercambio de conocimientos contribuye al avance de la ciencia: a su vez, puede dar lugar a descubrimientos más importantes.

Pero los trabajos de investigación publicados pueden ser retirados si hay algún problema con su exactitud o integridad. En los últimos años, el número de retractaciones ha aumentado considerablemente. Por ejemplo, en 2023 se retractaron más de 10.000 artículos de investigación en todo el mundo. Esto supuso un nuevo récord. 

El enorme número de retractaciones indica que se están malgastando muchos fondos públicos para investigación. Y lo que es más importante, la publicación de tantas investigaciones erróneas también induce a error a otros investigadores y socava la integridad científica.

Esta preocupante tendencia se ve alimentada por una mentalidad conocida en el mundo académico como «publicar o perecer», que existe desde hace décadas. La publicación de trabajos de investigación impulsa las clasificaciones universitarias y la progresión profesional, pero la incesante presión por publicar ha contribuido a un aumento de los datos fraudulentos. A menos que esto cambie, todo el panorama de la investigación podría inclinarse hacia una norma menos rigurosa, lo que obstaculizaría avances vitales en campos como la medicina, la tecnología y la climatología.

Publicar o morir

Las universidades e institutos de investigación suelen utilizar el índice de publicaciones como indicador clave de la productividad y reputación de la investigación.

El Times Higher Education Index, que clasifica estas instituciones, asigna el 60% de su puntuación a la investigación, y las publicaciones son fundamentales para esta puntuación.

Además, las publicaciones están estrechamente vinculadas a la promoción profesional individual. Influyen en las decisiones sobre titularidad, ascensos y obtención de financiación.

Estos factores crean un entorno de «publicar o perecer», término acuñado en 1942 por el sociólogo Logan Wilson. 

Una tendencia creciente

Pruebas recientes indican que la presión constante por generar datos y publicar artículos puede estar afectando a la calidad de la investigación y alimentando las retractaciones de artículos de investigación.

Retraction Watch es una de las mayores bases de datos de seguimiento de las retractaciones científicas. Lanzada en 2010, revela una tendencia creciente en el número de publicaciones que se retractan. 

En la última década se han producido más de 39.000 retractaciones, y el número anual de retractaciones crece en torno a un 23% cada año.

Casi la mitad de las retractaciones se debieron a problemas relacionados con la autenticidad de los datos. Por ejemplo, en agosto, la Oficina de Integridad de la Investigación de Estados Unidos descubrió que Richard Eckert, bioquímico de la Universidad de Maryland (Baltimore), había falsificado datos en 13 artículos publicados. Cuatro de estos trabajos se han corregido, uno se ha retractado y el resto están pendientes de medidas. 

El plagio fue el segundo motivo más común de retractación de trabajos de investigación, con un 16% de las retractaciones.

La falsa revisión por pares fue otro motivo de retractación.

Normalmente, cuando una publicación se envía a una revista, se somete a la revisión por pares de expertos en el mismo campo. Estos expertos dan su opinión para mejorar la calidad del trabajo.

Sin embargo, el uso de falsos revisores se ha multiplicado por diez en la última década. También se han multiplicado por ocho las publicaciones vinculadas a las llamadas «fábricas de artículos», que son empresas que proporcionan artículos falsos a cambio de una tarifa. 

En 2022, hasta el 2% de todas las publicaciones procedían de fábricas de artículos.

Los errores genuinos en el proceso científico sólo representaron aproximadamente el 6% de todas las retractaciones de la última década.

Más presión, más errores

Una de las razones del aumento de las retractaciones en la última década puede ser que estamos mejorando en la búsqueda y detección de datos sospechosos. 

La publicación digital ha facilitado la detección de posibles falsificaciones, y cada vez son más los científicos que se oponen con valentía a estas prácticas dudosas. Sin duda, el número actual de retractaciones es una subestimación de un conjunto mucho mayor.

Pero la intensificación de la cultura de «publicar o perecer» dentro de las universidades también desempeña un papel importante.

A casi todo el personal académico se le exige que cumpla unas cuotas de publicación específicas para evaluar su rendimiento, mientras que las propias instituciones utilizan la producción de publicaciones para impulsar sus clasificaciones. Un número elevado de publicaciones y citas mejora la posición de una universidad en las clasificaciones mundiales, atrae a más estudiantes y genera ingresos por la docencia. 

El sistema de recompensas imperante en el mundo académico suele dar prioridad a la cantidad de publicaciones en detrimento de la calidad. Cuando los ascensos, la financiación y el reconocimiento están ligados al número de artículos publicados, los científicos pueden sentirse presionados a recortar gastos, apresurar experimentos o incluso falsificar datos para cumplir estos criterios.

Cambiar el modelo

Iniciativas como la Declaración de San Francisco sobre la Evaluación de la Investigación están impulsando el cambio. Esta iniciativa aboga por evaluar la investigación en función de su calidad y su impacto en la sociedad, en lugar de utilizar parámetros basados en las revistas, como los factores de impacto o el recuento de citas.

Un cambio en las políticas de las revistas para dar prioridad a la puesta en común de todos los datos experimentales mejoraría la integridad científica. Garantizaría que los investigadores pudieran replicar los experimentos para verificar los resultados de otros. 

Los académicos se enfrentan a una presión cada vez mayor para publicar artículos en revistas con el fin de avanzar en sus carreras. 

Además, las universidades, las instituciones de investigación y los organismos de financiación deben mejorar su diligencia debida y exigir responsabilidades a los culpables de mala conducta.

Incluir una pregunta tan sencilla como «¿Alguna vez ha tenido o participado en un artículo retractado?» en las solicitudes de subvención o en las promociones académicas mejoraría la integridad de la investigación al disuadir de comportamientos poco éticos. Las respuestas deshonestas podrían detectarse fácilmente, gracias a la disponibilidad de herramientas y bases de datos en línea como Retraction Watch.

En los últimos 20 años, la investigación científica ha mejorado significativamente nuestra calidad de vida. Los científicos de carrera deben asumir la responsabilidad de garantizar que los investigadores mantengan los valores de verdad e integridad que son fundamentales para nuestra profesión. Proteger la integridad de nuestro trabajo es primordial para nuestra misión, y debemos permanecer vigilantes para salvaguardar estos principios.

**************************************

The ‘publish or perish’ mentality is fuelling research paper retractions – and undermining science

Published: September 24, 2024 

Nham Tran

Associate Professor and MTP Connect REDI Industry Fellow, University of Technology Sydney     

When scientists make important discoveries, both big and small, they typically publish their findings in scientific journals for others to read. This sharing of knowledge helps to advance science: it can, in turn, lead to more important discoveries.

But published research papers can be retracted if there is an issue with their accuracy or integrity. And in recent years, the number of retractions has been rising sharply. For example, in 2023 more than 10,000 research papers were retracted globally. This marked a new record.  

The huge number of retractions indicates a lot of government research funding is being wasted. More importantly, the publication of so much flawed research also misleads other researchers and undermines scientific integrity.

Fuelling this troubling trend is a mentality known in academia as “publish or perish” which has existed for decades. The publication of research papers drives university rankings and career progression, yet the relentless pressure to publish has contributed to an increase in fraudulent data. Unless this changes, the entire research landscape may shift toward a less rigorous standard, hindering vital progress in fields such as medicine, technology and climate science.  

A ‘publish or perish’ environment

Universities and research institutes commonly use the rate of publications as a key indicator of research productivity and reputation.

The Times Higher Education Index, which ranks these institutions, assigns 60% of its score to research, and publications are fundamental to this score.

Additionally, publications are closely tied to individual career advancement. They influence decisions on tenure, promotions and securing funding.

These factors create a “publish or perish” environment, a term first coined in 1942 by sociologist Logan Wilson.   

A growing trend

Recent evidence indicates the constant pressure to generate data and publish papers may be affecting the quality of research and fuelling retractions of research papers.

Retraction Watch is one of the largest databases to monitor scientific retractions. Launched in 2010, it reveals a growing trend in the number of publications being retracted.  

In the past decade, there have been more than 39,000 retractions, and the annual number of retractions is growing by around 23% each year.

Nearly half the retractions were due to issues related to the authenticity of the data. For example, in August the United States Office of Research Integrity found that Richard Eckert, a senior biochemist at the University of Maryland, Baltimore, faked data in 13 published papers. Four of these papers have been corrected, one has been retracted and the remainder are still awaiting action.  

Plagiarism was the second most common reason research papers were retracted, accounting for 16% of retractions.

Fake peer review was another reason why research papers were retracted.

Typically, when a publication is submitted to a journal, it undergoes peer review by experts in the same field. These experts provide feedback to improve the quality of the work.

However, the use of fake peer reviewers has increased tenfold over the past decade. There has also been an eightfold rise in publications linked to so-called “paper mills”, which are businesses that provide fake papers for a fee.

In 2022, up to 2% of all publications were from paper mills.

Genuine mistakes in the scientific process accounted for only roughly 6% of all retractions in the last decade.

More pressure, more mistakes

One reason for the surge in retractions over the last decade may be that we are getting better at finding and detecting suspicious data.  

Digital publishing has made it easier to detect potential fabrication, and more scientists are making a brave stand against these dubious practices. No doubt, the current number of retractions is an underestimate of a much larger pool.

But the intensification of the “publish or perish” culture within universities also plays a major role.

Nearly all academic staff are required to meet specific publication quotas for performance evaluations, while institutions themselves use publication output to boost their rankings. High publication counts and citations enhance a university’s position in global rankings, attracting more students and generating income from teaching.   

The prevailing reward system in academia often prioritises publication quantity over quality. When promotions, funding, and recognition are tied to the number of papers published, scientists may feel pressured to cut corners, rush experiments, or even fabricate data to meet these metrics.

Changing the model

Initiatives such as the San Francisco Declaration on Research Assessment are pushing for change. This initiative advocates for evaluating research based on its quality and societal impact rather than journal-based metrics such as impact factors or citation counts.

A shift in journal policies to prioritise the sharing of all experimental data would enhance scientific integrity. It would ensure researchers could replicate experiments to verify others’ results.  

Academics face increasing pressure to publish journal articles to advance their careers. 

Also, universities, research institutions and funding agencies need to improve their due diligence and hold those responsible for misconduct accountable.

Including a simple question such as, “Have you ever had or been involved in a retracted paper?” on grant applications or academic promotions would improve the integrity of research by deterring unethical behaviour. Dishonest answers could be easily detected, thanks to the availability of online tools and databases such as Retraction Watch. 

Over the past 20 years, scientific research has significantly improved our quality of life. Career scientists must shoulder the responsibility of ensuring researchers uphold the values of truth and integrity that are fundamental to our profession. Protecting the integrity of our work is foremost to our mission, and we must remain vigilant in safeguarding these principles.