IA y revisión por pares: Un análisis FODA exhaustivo de la IA y la experiencia humana en la revisión por pares

Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2024/09/12/strengths-weaknesses-opportunities-and-threats-a-comprehensive-swot-analysis-of-ai-and-human-expertise-in-peer-review/ 

Puntos fuertes, puntos débiles, oportunidades y amenazas: Un análisis FODA exhaustivo de la IA y la experiencia humana en la revisión por pares

Por Roohi Ghosh

12 de septiembre de 2024

Ahora que se acerca la Semana de la Revisión por Pares, espero que el evento estimule conversaciones que no se limiten a rascar la superficie, sino que profundicen en la comprensión del papel de la revisión por pares en la era digital actual y aborden los principales problemas a los que se enfrenta la revisión por pares. Para mí, uno de los principales problemas es que se han descubierto contenidos generados por IA en destacadas revistas. Una pregunta clave es: ¿debe recaer toda la culpa de estas transgresiones en el proceso de revisión por pares?

Para responder a esta pregunta, me gustaría plantear algunas más. ¿Es usted consciente del enorme volumen de artículos que se publican cada año? ¿Conoce el número de revisores disponibles en comparación? ¿Conoce la función real de la revisión por pares? ¿Y es consciente de que se trata de un esfuerzo altruista?

El sistema de revisión por pares está saturado. Cada año se envían millones de artículos y, en proporción, el número de revisores no crece al mismo ritmo. Esto se debe, entre otras razones, a que la revisión por pares es una tarea voluntaria que requiere mucho tiempo y que los revisores asumen además de sus otras responsabilidades académicas y docentes a tiempo completo. Otra razón es la falta de diversidad en el grupo de revisores. El sistema está realmente al límite.

Por supuesto, esto no significa que la calidad de las revisiones sea inferior a la media. Pero la pregunta fundamental sigue siendo: «¿Debería ser la función de la revisión por pares atrapar el texto generado por la IA?». Se espera que los revisores contribuyan a la ciencia: que identifiquen lagunas en la propia investigación, que detecten fallos estructurales y lógicos y que aprovechen su experiencia para fortalecer la ciencia. La atención de un revisor se desviaría si, en lugar de centrarse en la ciencia, se le pidiera que buscara contenidos generados por IA; en mi opinión, esto diluye su experiencia y traslada la carga a ellos de una manera que nunca se pretendió. 

Irónicamente, la IA debería considerarse una herramienta para aliviar la carga de trabajo de los revisores, NO para aumentarla. ¿Cómo podemos asegurarnos de que, en general, la IA se utiliza para complementar la experiencia humana, para facilitar las tareas y no para aumentar la carga? ¿Y cómo podemos dejar de culpar a los demás y pasar a evaluar detenidamente cómo podemos utilizar la IA para colmar las lagunas que ella misma está creando? En resumen, ¿cómo puede el problema convertirse en la solución?

El objetivo de la IA es garantizar que haya más tiempo para la innovación liberando nuestro tiempo de las tareas rutinarias. Es un flaco favor si acabamos teniendo que dedicar más tiempo a comprobaciones rutinarias sólo para identificar el mal uso de la IA. Esto contradice totalmente el propósito de las herramientas de IA y, si así es como estamos configurando los procesos, nos estamos abocando al fracaso.

Lo ideal es que los flujos de trabajo se establezcan de la forma más ágil posible. Si hay algo que genera tensión y fricción, es probable que el proceso sea el culpable y haya que cambiarlo.

¿Pueden las revistas invertir en herramientas de IA más sofisticadas para detectar posibles problemas antes incluso de que los artículos lleguen a los revisores? Esto permitiría a los revisores concentrarse únicamente en el contenido. Existen herramientas para identificar contenidos generados por IA. Puede que no sean perfectas (ni tan eficaces todavía), pero existen y siguen mejorando. ¿Cómo pueden integrarse estas herramientas en el proceso de evaluación de las revistas?  

¿Se trata de una función editorial o de algo de lo que deberían ocuparse los revisores? ¿Deberían las revistas ofrecer formación específica sobre cómo utilizar las herramientas de IA de forma eficaz, para que complementen el juicio humano en lugar de sustituirlo? ¿Podemos crear programas estandarizados de formación de revisores por pares para toda la industria o directrices que aclaren qué entra en el ámbito de lo que se supone que debe evaluar un revisor por pares y qué no?

Tal vez el desarrollo de un enfoque más colaborativo de la revisión por pares, en el que varios revisores puedan debatir y compartir puntos de vista, ayude a detectar problemas que un solo individuo podría pasar por alto. 

Cambiar la conversación

En lugar de culpar a los demás, debemos hacernos las preguntas cruciales: ¿Estamos dotando a nuestros revisores de las herramientas adecuadas para tener éxito en un panorama cada vez más complejo? ¿Cómo puede aprovecharse la IA no como una carga, sino como un verdadero aliado para mantener la integridad de la investigación? ¿Estamos preparados para replantearnos las funciones dentro de la revisión por pares? ¿Podemos dejar de ver la IA como una amenaza o un problema y aceptarla como un aliado que mejora el juicio humano en lugar de complicarlo?

Demos un paso atrás y veamos este análisis DAFO de la IA frente a la experiencia humana en la revisión por pares

El reto que se nos presenta es mucho más que atrapar contenidos generados por IA; se trata de reimaginar el futuro de la revisión por pares.

Es hora de que la conversación cambie. Es hora de dejar de culpar a los demás. Es hora de reconocer las fortalezas, las debilidades, las oportunidades y las amenazas tanto de los humanos como de la IA.

***********************

    Strengths, Weaknesses, Opportunities, and Threats: A Comprehensive SWOT Analysis of AI and Human Expertise in Peer Review

• By Roohi Ghosh

• Sep 12, 2024

With Peer Review Week fast approaching, I’m hoping the event will spur conversations that don’t just scratch the surface, but rather dig deeply into understanding the role of peer review in today’s digital age and address the core issues peer review is facing. To me, one of the main issues is that AI-generated content has been discovered in prominent journals. A key question is, should all of the blame for these transgressions fall on the peer review process?

To answer this question, I would like to ask a few more in response. Are you aware of the sheer volume of papers published each year? Do you know the number of peer reviewers available in comparison? Do you understand the actual role of peer review? And are you aware that this is an altruistic effort?  

The peer review system is overworked! Millions of papers are being submitted each year and in proportion, the number of peer reviewers available is not growing at the same pace. Some reasons for this are that peer reviewing is a voluntary, time-consuming task which reviewers take on in addition to their other full-time academic and teaching responsibilities. Another reason is the lack of diversity in the reviewer pool. The system is truly stretched to its limits.

Of course, this doesn’t mean sub-par quality reviews. But the fundamental question remains “Should the role of peer review be to catch AI-generated text?” Peer reviewers are expected to contribute to the science — to identify gaps in the research itself, to spot structural and logical flaws and to leverage their expertise to make the science stronger. A peer reviewer’s focus will get diverted if instead of focusing on the science, they were instead asked to hunt down AI-generated content; this in my opinion dilutes their expertise and shifts the burden onto them in a way that it was never intended.  

Ironically, AI should be seen as a tool to ease the workload of peer reviewers, NOT to add to it. How can we ensure that across the board, AI is being used to complement human expertise — to make tasks easier, not to add to the burden? And how can the conversation shift from a blame game to carefully evaluating how we can use AI to address the gaps that it is itself creating. In short, how can the problem become the solution?

The aim of AI is to ensure that there is more time for innovation by freeing our time from routine tasks. It is a disservice if we end up having to spend more time on routine checks just to identify the misuse of AI! It entirely defeats the purpose of AI tools and if that’s how we are setting up processes, then we are setting ourselves up for failure.  

Workflows are ideally set up in as streamlined a manner as possible. If something is creating stress and friction, it is probably the process that is at fault and needs to be changed.

Can journals invest in more sophisticated AI tools to flag potential issues before papers even reach peer reviewers? This would allow reviewers to concentrate on the content alone. There are tools available to identify AI generated content. They may not be perfect (or even all that effective as of yet), but they exist and continue to improve. How can these tools be integrated into the journal evaluation process?  

Is this an editorial function or something peer reviewers should be concerned with? Should journals provide targeted training on how to use AI tools effectively, so they complement human judgment rather than replace it? Can we create standardized industry-wide peer reviewer training programs or guidelines that clarify what falls under the scope of what a peer reviewer is supposed to evaluate and what doesn’t?

Perhaps developing a more collaborative approach to peer review, where multiple reviewers can discuss and share insights will help in spotting issues that one individual could miss.  

Shifting the Conversation

Instead of casting blame, we must ask ourselves the critical questions: Are we equipping our peer reviewers with the right tools to succeed in an increasingly complex landscape? How can AI be harnessed not as a burden, but as a true ally in maintaining the integrity of research? Are we prepared to re-think the roles within peer review? Can we stop viewing AI as a threat or as a problem and instead embrace it as a partner—one that enhances human judgment rather than complicates it?

Let’s take a step back and look at this SWOT analysis for AI versus human expertise in peer review  

The challenge presented before us is much more than just catching AI-generated content; it’s about reimagining the future of peer review.

It’s time for the conversation to shift. It’s time for the blame game to stop. It’s time to recognize the strengths, the weaknesses, the opportunities and the threats of both humans and AI.

iniciativa CANGARU: por la unificación de las directrices para el uso de IA en artículos científicos

Publicado en Science
https://www.science.org/content/article/should-researchers-use-ai-write-papers-group-aims-community-driven-standards 

¿Deben los investigadores utilizar la IA para escribir artículos? El grupo aspira a unas normas impulsadas por la comunidad

Según estimaciones recientes, herramientas como ChatGPT podrían utilizarse en entre el 1% y el 5% de los manuscritos.

16 Abr 2024

Por Holly Else

¿Cuándo y cómo deben ayudar a redactar artículos de investigación los programas de inteligencia artificial (IA) que generan textos, como ChatGPT? En los próximos meses, 4000 investigadores de diversas disciplinas y países darán su opinión sobre las directrices que podrían adoptarse ampliamente en la edición académica, que ha estado lidiando con chatbots y otras cuestiones de IA durante el último año y medio. El grupo que está detrás de esta iniciativa quiere sustituir el panorama poco sistemático de las directrices actuales por un único conjunto de normas que represente el consenso de la comunidad investigadora. 

Conocida como CANGARU, la iniciativa es una asociación entre investigadores y editores, entre ellos Elsevier, Springer Nature, Wiley; representantes de las revistas eLife, Cell y The BMJ; así como el organismo industrial Committee on Publication Ethics. Según Giovanni Cacciamani, urólogo de la Universidad del Sur de California que dirige CANGARU, el grupo espera publicar en agosto un conjunto definitivo de directrices que se actualizarán cada año debido a la «rápida evolución de esta tecnología». Las directrices incluirán una lista de las formas en que los autores no deben utilizar los grandes modelos de lenguaje (LLM) que potencian los chatbots y cómo deben revelar otros usos.

Desde que herramientas de IA generativa como ChatGPT se hicieron públicas a finales de 2022, editores e investigadores han debatido estas cuestiones. Algunos afirman que las herramientas pueden ayudar a redactar manuscritos si se utilizan de forma responsable, por ejemplo, en el caso de autores cuya lengua materna no sea el inglés. Otros temen que los estafadores científicos las utilicen para publicar rápidamente trabajos convincentes pero falsos. Según Tanya De Villiers-Botha, filósofa de la Universidad de Stellenbosch, la propensión de los LLM a inventarse cosas, combinada con su relativa fluidez en la escritura y un sistema de revisión por pares sobrecargado, «supone una grave amenaza para la investigación y la publicación científicas».  

Algunas revistas, como Science y Nature, y otros organismos ya han publicado normas sobre cómo pueden utilizar los científicos las herramientas de IA generativa en su trabajo. (El departamento de Noticias de Science es editorialmente independiente.) Esas políticas suelen establecer que las herramientas de IA no pueden ser autoras porque no pueden ser responsables del trabajo. También exigen a los autores que declaren dónde se han utilizado las herramientas.

Pero el nivel de orientación varía. En una política de diciembre de 2023, la Asociación STM, un organismo de comercio editorial, detalló los usos permitidos para la IA generativa y enumera otras áreas sobre las que los editores de revistas deben decidir caso por caso. Pero el anuncio de la Comisión Europea del mes pasado es menos prescriptivo, ya que afirma que los investigadores que utilicen estas herramientas deben hacerlo de forma transparente y seguir siendo responsables de su producción científica.

La variedad de directrices puede confundir a los investigadores. «Lo ideal sería hacer un gran esfuerzo por reunir todas estas normas en una sola que todo el mundo pudiera seguir», afirma Jean-Christophe Bélisle-Pipon, especialista en ética sanitaria de la Universidad Simon Fraser. «Una directriz estandarizada es necesaria y urgente», añade De Villiers-Botha.

Cacciamani dirige CANGARU en una revisión sistemática de la bibliografía pertinente, que servirá de base a las directrices sobre IA. A continuación, un grupo de investigadores, clínicos, informáticos, ingenieros, metodólogos y editores evaluará las directrices.

Pero algunos investigadores temen que la iniciativa no avance lo suficientemente rápido. «El mundo ya ha cambiado significativamente en los últimos 10 meses», afirma Daniel Hook, responsable de la empresa de análisis de datos Digital Science. «La velocidad de avance de la IA generativa no hará sino aumentar».

El número de investigadores que utilizan estas herramientas en sus escritos parece dispararse. Algunos casos de uso no revelado e ilícito de ChatGPT son evidentes. A veces añade a los textos fases reveladoras como «corte de conocimientos en septiembre de 2021». «Son auténticas pistolas humeantes», afirma el informático de la Universidad de Toulouse Guillaume Cabanac, que ha recopilado una lista de más de 70 artículos que llevan el sello de ChatGPT no declarado para el blog Retraction Watch.

Otros han buscado pistas más sutiles sobre el texto LLM. En un preprint publicado en arXiv el 25 de marzo, Andrew Gray, que trabaja en apoyo bibliométrico en el University College de Londres, calcula que algo más del 1% de los artículos publicados en 2023, unos 60.000 en total, contenían una presencia desproporcionada de palabras inusuales que se sabe que están correlacionadas con el texto generado por LLM. Otro análisis, publicado en bioRxiv por Yingfeng Zheng, de la Universidad Sun Yat-sen, y sus colegas el 26 de marzo, investigó 45.000 preprints antes y después de que ChatGPT estuviera disponible y calculó que el 5% de estos últimos incluían texto generado por IA.

Philip Shapira, que estudia la gobernanza de las tecnologías emergentes en la Universidad de Manchester, afirma que las cifras podrían estar subestimadas. «Ahora es fácil encontrar en Internet recomendaciones y herramientas para 'eliminar' términos y frases comunes generados por ChatGPT», afirma. Y es probable que las herramientas de IA mejoren su estilo de redacción en el futuro, lo que dificultará aún más su detección. 

Una vez elaboradas las directrices sobre IA, el siguiente paso será asegurarse de que los autores las cumplen, afirma Sabine Kleinert, subdirectora de la revista médica The Lancet, que participa en CANGARU. Esto puede hacerse pidiendo a los autores que declaren el uso de la IA cuando presenten sus trabajos. Para frenar el uso de la IA también se requerirá «la experiencia de los editores... así como una sólida revisión por pares y políticas adicionales de integridad y ética de la investigación», añade Kleinert.

En última instancia, según Bélisle-Pipon, el éxito de las directrices dependerá también de que las instituciones y los organismos que las conceden incentiven el cumplimiento de las políticas y penalicen a los investigadores que no las respeten. «Todos sabemos que el quid de la cuestión es cómo evalúan a los investigadores los financiadores y los comités de contratación, titularidad y promoción».

//////////////////

Should researchers use AI to write papers? Group aims for community-driven standards Tools such as ChatGPT may be used for 1% to 5% of manuscripts, recent estimates suggest

16 Apr 2024

• By Holly Else

When and how should text-generating artificial intelligence (AI) programs such as ChatGPT help write research papers? In the coming months, 4000 researchers from a variety of disciplines and countries will weigh in on guidelines that could be adopted widely across academic publishing, which has been grappling with chatbots and other AI issues for the past year and a half. The group behind the effort wants to replace the piecemeal landscape of current guidelines with a single set of standards that represents a consensus of the research community.  

Known as CANGARU, the initiative is a partnership between researchers and publishers including Elsevier, Springer Nature, Wiley; representatives from journals eLife, Cell, and The BMJ; as well as industry body the Committee on Publication Ethics. The group hopes to release a final set of guidelines by August, which will be updated every year because of the “fast evolving nature of this technology,” says Giovanni Cacciamani, a urologist at the University of Southern California who leads CANGARU. The guidelines will include a list of ways authors should not use the large language models (LLMs) that power chatbots and how they should disclose other uses.

Since generative AI tools such as ChatGPT became public in late 2022, publishers and researchers have debated these issues. Some say the tools can help draft manuscripts if used responsibly—by authors who do not have English as their first language, for example. Others fear scientific fraudsters will use them to publish convincing but fake work quickly. LLMs’ propensity to make things up, combined with their relative fluency in writing and an overburdened peer-review system, “poses a grave threat to scientific research and publishing,” says Tanya De Villiers-Botha, a philosopher at Stellenbosch University.  

Some journals, including Science and Nature, and other bodies have already released rules about how scientists can use generative AI tools in their work. (Science’s News department is editorially independent.) Those policies often state that AI tools cannot be authors because they cannot be accountable for the work. They also require authors to declare where the tools have been used.

But the level of guidance varies. In a December 2023 policy, the STM Association, a publishing trade body, spelled out allowed uses for generative AI and lists other areas on which journal editors should decide case by case. But last month’s announcement from the European Commission is less prescriptive, stating that researchers using these tools should do so transparently and remain responsible for their scientific output.  

The variety of guidelines could be confusing for researchers. “Ideally there should be a big effort to bring all these rules together into one big set that everyone can follow,” says Jean-Christophe Bélisle-Pipon, a health ethicist at Simon Fraser University. “A standardized guideline is both necessary and urgent,” De Villiers-Botha adds.

Cacciamani is leading CANGARU in a systematic review of the relevant literature, which will inform the AI guidelines. A panel of researchers, clinicians, computer scientists, engineers, methodologists, and editors will then evaluate the guidelines.  

But some researchers fear the initiative is not moving fast enough. “Already the world has changed significantly in the last 10 months,” says Daniel Hook, head of data analytics firm Digital Science. “The speed of progress of generative AI will only increase.”

The number of researchers using the tools in their writing appears to be soaring. Some cases of undisclosed, illicit ChatGPT use are obvious. It sometimes adds to text telltale phases such as “knowledge cutoff in September 2021.” “These are real smoking guns,” says University of Toulouse computer scientist Guillaume Cabanac, who compiled a list of more than 70 articles that bear the hallmarks of undeclared ChatGPT for the blog Retraction Watch. 

Others have looked for subtler clues to LLM text. In a preprint posted on arXiv on 25 March, Andrew Gray, who works in bibliometric support at University College London, estimates that just over 1% of articles published in 2023, about 60,000 in total, contained a disproportionate occurrence of unusual words known to be correlated with LLM-generated text. Another analysis, posted on bioRxiv by Yingfeng Zheng at Sun Yat-sen University and colleagues on 26 March, investigated 45,000 preprints before and after ChatGPT became available and estimated 5% of the latter include AI-generated text.

Philip Shapira, who studies the governance of emerging technologies at the University of Manchester, says the numbers could be underestimates. “It is now easy to go online to find recommendations and tools to ‘weed out’ common ChatGPT-generated terms and phrases,” he says. And AI tools will likely improve their writing style in the future, making it more challenging to spot. 

Once AI guidelines are drawn up, the next step will be to ensure that authors stick to them, says Sabine Kleinert, deputy editor of medical journal The Lancet, which is involved in CANGARU. This can be done by asking authors to declare the use of AI when they submit papers. Reining in AI use will also require “the expertise of editors … as well as robust peer review and additional research integrity and ethical polices,” Kleinert adds.

Ultimately, Bélisle-Pipon says, the success of the guidelines will also depend on institutions and granting agencies to incentivize adherence to policies—and to penalize researchers who don’t. “We all know that the crux of the matter is how funders and recruitment, tenure, and promotion committees evaluate researchers.”

**************