Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2024/09/12/strengths-weaknesses-opportunities-and-threats-a-comprehensive-swot-analysis-of-ai-and-human-expertise-in-peer-review/
Puntos fuertes, puntos débiles, oportunidades y amenazas: Un análisis FODA exhaustivo de la IA y la experiencia humana en la revisión por pares
Por Roohi Ghosh
12 de septiembre de 2024
Ahora que se acerca la Semana de la Revisión por Pares, espero que el evento estimule conversaciones que no se limiten a rascar la superficie, sino que profundicen en la comprensión del papel de la revisión por pares en la era digital actual y aborden los principales problemas a los que se enfrenta la revisión por pares. Para mí, uno de los principales problemas es que se han descubierto contenidos generados por IA en destacadas revistas. Una pregunta clave es: ¿debe recaer toda la culpa de estas transgresiones en el proceso de revisión por pares?
Para responder a esta pregunta, me gustaría plantear algunas más. ¿Es usted consciente del enorme volumen de artículos que se publican cada año? ¿Conoce el número de revisores disponibles en comparación? ¿Conoce la función real de la revisión por pares? ¿Y es consciente de que se trata de un esfuerzo altruista?
El sistema de revisión por pares está saturado. Cada año se envían millones de artículos y, en proporción, el número de revisores no crece al mismo ritmo. Esto se debe, entre otras razones, a que la revisión por pares es una tarea voluntaria que requiere mucho tiempo y que los revisores asumen además de sus otras responsabilidades académicas y docentes a tiempo completo. Otra razón es la falta de diversidad en el grupo de revisores. El sistema está realmente al límite.
Por supuesto, esto no significa que la calidad de las revisiones sea inferior a la media. Pero la pregunta fundamental sigue siendo: «¿Debería ser la función de la revisión por pares atrapar el texto generado por la IA?». Se espera que los revisores contribuyan a la ciencia: que identifiquen lagunas en la propia investigación, que detecten fallos estructurales y lógicos y que aprovechen su experiencia para fortalecer la ciencia. La atención de un revisor se desviaría si, en lugar de centrarse en la ciencia, se le pidiera que buscara contenidos generados por IA; en mi opinión, esto diluye su experiencia y traslada la carga a ellos de una manera que nunca se pretendió.
Irónicamente, la IA debería considerarse una herramienta para aliviar la carga de trabajo de los revisores, NO para aumentarla. ¿Cómo podemos asegurarnos de que, en general, la IA se utiliza para complementar la experiencia humana, para facilitar las tareas y no para aumentar la carga? ¿Y cómo podemos dejar de culpar a los demás y pasar a evaluar detenidamente cómo podemos utilizar la IA para colmar las lagunas que ella misma está creando? En resumen, ¿cómo puede el problema convertirse en la solución?
El objetivo de la IA es garantizar que haya más tiempo para la innovación liberando nuestro tiempo de las tareas rutinarias. Es un flaco favor si acabamos teniendo que dedicar más tiempo a comprobaciones rutinarias sólo para identificar el mal uso de la IA. Esto contradice totalmente el propósito de las herramientas de IA y, si así es como estamos configurando los procesos, nos estamos abocando al fracaso.
Lo ideal es que los flujos de trabajo se establezcan de la forma más ágil posible. Si hay algo que genera tensión y fricción, es probable que el proceso sea el culpable y haya que cambiarlo.
¿Pueden las revistas invertir en herramientas de IA más sofisticadas para detectar posibles problemas antes incluso de que los artículos lleguen a los revisores? Esto permitiría a los revisores concentrarse únicamente en el contenido. Existen herramientas para identificar contenidos generados por IA. Puede que no sean perfectas (ni tan eficaces todavía), pero existen y siguen mejorando. ¿Cómo pueden integrarse estas herramientas en el proceso de evaluación de las revistas?
¿Se trata de una función editorial o de algo de lo que deberían ocuparse los revisores? ¿Deberían las revistas ofrecer formación específica sobre cómo utilizar las herramientas de IA de forma eficaz, para que complementen el juicio humano en lugar de sustituirlo? ¿Podemos crear programas estandarizados de formación de revisores por pares para toda la industria o directrices que aclaren qué entra en el ámbito de lo que se supone que debe evaluar un revisor por pares y qué no?
Tal vez el desarrollo de un enfoque más colaborativo de la revisión por pares, en el que varios revisores puedan debatir y compartir puntos de vista, ayude a detectar problemas que un solo individuo podría pasar por alto.
Cambiar la conversación
En lugar de culpar a los demás, debemos hacernos las preguntas cruciales: ¿Estamos dotando a nuestros revisores de las herramientas adecuadas para tener éxito en un panorama cada vez más complejo? ¿Cómo puede aprovecharse la IA no como una carga, sino como un verdadero aliado para mantener la integridad de la investigación? ¿Estamos preparados para replantearnos las funciones dentro de la revisión por pares? ¿Podemos dejar de ver la IA como una amenaza o un problema y aceptarla como un aliado que mejora el juicio humano en lugar de complicarlo?
Demos un paso atrás y veamos este análisis DAFO de la IA frente a la experiencia humana en la revisión por pares
El reto que se nos presenta es mucho más que atrapar contenidos generados por IA; se trata de reimaginar el futuro de la revisión por pares.
Es hora de que la conversación cambie. Es hora de dejar de culpar a los demás. Es hora de reconocer las fortalezas, las debilidades, las oportunidades y las amenazas tanto de los humanos como de la IA.
***********************
Strengths, Weaknesses, Opportunities, and Threats: A Comprehensive SWOT Analysis of AI and Human Expertise in Peer Review
By Roohi Ghosh
Sep 12, 2024
With Peer Review Week fast approaching, I’m hoping the event will spur conversations that don’t just scratch the surface, but rather dig deeply into understanding the role of peer review in today’s digital age and address the core issues peer review is facing. To me, one of the main issues is that AI-generated content has been discovered in prominent journals. A key question is, should all of the blame for these transgressions fall on the peer review process?
To answer this question, I would like to ask a few more in response. Are you aware of the sheer volume of papers published each year? Do you know the number of peer reviewers available in comparison? Do you understand the actual role of peer review? And are you aware that this is an altruistic effort?
The peer review system is overworked! Millions of papers are being submitted each year and in proportion, the number of peer reviewers available is not growing at the same pace. Some reasons for this are that peer reviewing is a voluntary, time-consuming task which reviewers take on in addition to their other full-time academic and teaching responsibilities. Another reason is the lack of diversity in the reviewer pool. The system is truly stretched to its limits.
Of course, this doesn’t mean sub-par quality reviews. But the fundamental question remains “Should the role of peer review be to catch AI-generated text?” Peer reviewers are expected to contribute to the science — to identify gaps in the research itself, to spot structural and logical flaws and to leverage their expertise to make the science stronger. A peer reviewer’s focus will get diverted if instead of focusing on the science, they were instead asked to hunt down AI-generated content; this in my opinion dilutes their expertise and shifts the burden onto them in a way that it was never intended.
Ironically, AI should be seen as a tool to ease the workload of peer reviewers, NOT to add to it. How can we ensure that across the board, AI is being used to complement human expertise — to make tasks easier, not to add to the burden? And how can the conversation shift from a blame game to carefully evaluating how we can use AI to address the gaps that it is itself creating. In short, how can the problem become the solution?
The aim of AI is to ensure that there is more time for innovation by freeing our time from routine tasks. It is a disservice if we end up having to spend more time on routine checks just to identify the misuse of AI! It entirely defeats the purpose of AI tools and if that’s how we are setting up processes, then we are setting ourselves up for failure.
Workflows are ideally set up in as streamlined a manner as possible. If something is creating stress and friction, it is probably the process that is at fault and needs to be changed.
Can journals invest in more sophisticated AI tools to flag potential issues before papers even reach peer reviewers? This would allow reviewers to concentrate on the content alone. There are tools available to identify AI generated content. They may not be perfect (or even all that effective as of yet), but they exist and continue to improve. How can these tools be integrated into the journal evaluation process?
Is this an editorial function or something peer reviewers should be concerned with? Should journals provide targeted training on how to use AI tools effectively, so they complement human judgment rather than replace it? Can we create standardized industry-wide peer reviewer training programs or guidelines that clarify what falls under the scope of what a peer reviewer is supposed to evaluate and what doesn’t?
Perhaps developing a more collaborative approach to peer review, where multiple reviewers can discuss and share insights will help in spotting issues that one individual could miss.
Shifting the ConversationInstead of casting blame, we must ask ourselves the critical questions: Are we equipping our peer reviewers with the right tools to succeed in an increasingly complex landscape? How can AI be harnessed not as a burden, but as a true ally in maintaining the integrity of research? Are we prepared to re-think the roles within peer review? Can we stop viewing AI as a threat or as a problem and instead embrace it as a partner—one that enhances human judgment rather than complicates it?
Let’s take a step back and look at this SWOT analysis for AI versus human expertise in peer review
The challenge presented before us is much more than just catching AI-generated content; it’s about reimagining the future of peer review.
It’s time for the conversation to shift. It’s time for the blame game to stop. It’s time to recognize the strengths, the weaknesses, the opportunities and the threats of both humans and AI.
