Investiga. Monográficos sobre investigación. Biblioteca de la Universidad de Sevilla
https://bib.us.es/sites/bib3.us.es/files/investiga_sept_2024.pdf#page=1
Introducción
Desafíos del peer review: un instrumento tan necesario como molesto
Peer review e inteligencia artificial
Cómo ayuda la IA a la revisión por pares
Bibliografía
Novedades
Introducción
Por segundo año consecutivo, la Biblioteca de la Universidad de Sevilla se adhiere a la iniciativa Peer Review Week. Durante la semana del 23 al 27 de septiembre de 2024, este evento anual celebrará y redundará en el valor de la revisión por pares que reúne a las partes interesadas en la comunicación académica, incluidos editores académicos, asociaciones, instituciones y personal investigador.
Este año, esta semana está dedicada al tema “Innovación y tecnología en la revisión por pares”, con lo que se pretende debatir sobre asuntos como los siguientes:
• ¿Se puede utilizar la IA de forma que complemente el valor que aporta el revisor?
• ¿Cómo se puede utilizar para ampliar el grupo de revisores y ofrecer igualdad de
oportunidades a los académicos de países subrepresentados?
• ¿Es posible abordar la crisis de integridad de la investigación en la industria con la ayuda de nuevos enfoques y tecnologías?
• De cara al futuro, ¿podemos esperar un enfoque más colaborativo en el que la tecnología complemente la experiencia humana en la revisión por pares?
Como ya hicimos el pasado año con el monográfico INVESTIGA sobre "Peer Review y Ciencia Abierta", volvemos a colaborar en el debate abierto por la Peer Review Week con este monográfico sobre nuevas tecnologías y aplicaciones en la revisión por pares, en la que abarcaremos diferentes aspectos en los que la tecnología puede ayudar a la revisión por pares, centrándonos, especialmente, en cómo afecta la aparición de la inteligencia artificial generativa en este proceso.
Recomendamos, además, seguir las actividades de la Semana de Revisión por Pares 2024 anunciadas en su web, así como seguir las últimas novedades en las redes sociales a través de @PeerRevWeek y con los hashtags: #PeerReviewWeek y #AIinPeerReview.
Desafíos del peer review: un instrumento tan necesario como molesto
El sistema de revisión por pares está siendo cuestionado debido a diversos problemas que enfrenta y que de momento están lejos de poder resolverse. A pesar de no haberse encontrado un sistema de evaluación mejor, en los últimos años se han puesto en evidencia y se han resaltado algunas de sus debilidades, al tiempo que aumenta la presión por publicar.
Podemos destacar, entre las debilidades de la revisión por pares, las siguientes (Clarisó Viladrosa, 2014; García-Perdomo y López-Ramos, 2021):
• Tiempo de las respuestas: la revisión es un proceso riguroso, que consume tiempo.
• Dificultad para encontrar revisores.
• Rechazo de ideas poco convencionales.
• Inconsistencia entre dos o más revisiones.
• Calidad de las revisiones.
• Riesgo de malas prácticas por parte de los revisores.
• Sesgos en la revisión, al utilizar criterios diferentes en función de la nacionalidad, género, etc. de los autores del artículo en revisiones que no son doble ciego
Aunque existen motivaciones, tanto altruistas como egoístas, para llevar a cabo una revisión (Codina Bonilla, 2024), el sistema de publicación científica pasa por un momento difícil debido a la cantidad de manuscritos que se envían y la dificultad para encontrar revisores y agilizar los tiempos.
Que sea una actividad no remunerada es, a menudo, una disuasión al encontrar revisores. Si bien algunas editoriales han comenzado a ofrecer ciertas ventajas a las personas que revisan artículos en sus revistas (como descuentos en APCs, etc.) con el fin de mejorar sus tiempos de revisión, esto no ha mejorado mucho la situación y tiene su contrapartida en aquellas revistas que no pertenecen a grandes editoriales y no cuentan con recursos para ofrecer este tipo de alicientes.
Por otra parte, la revisión por pares es una actividad que requiere un gran esfuerzo por parte del revisor y, como hemos visto, puede llegar a consumir mucho tiempo, retrasando los tiempos de respuesta y alargando los plazos de publicación.
Estos retrasos en la revisión llevan a grandes cuellos de botella, especialmente en aquellas revistas mejor situadas en los sistemas de indexación.
Pese a los inconvenientes, la revista como medio de difusión de los resultados científicos y la revisión por pares como forma de garantizar la calidad de lo publicado se mantiene como la forma más fiable –que no infalible- y rápida de comunicar la ciencia, garantizar su calidad y asegurar el avance científico. Como afirma Clarisó Viladrosa (2014), el peer review "es el peor sistema de selección de artículos científicos… a excepción de todos los demás que se han ensayado". Así pues, el reto es mantener este sistema, minimizando sus inconvenientes.
Peer Review e inteligencia artificial
En este contexto, se ha planteado la posibilidad de que la tecnología permita mejorar los procesos de revisión de los artículos científicos, siendo la Inteligencia Artificial la que, por su potencialidad, más expectativas despierta. La introducción de la Inteligencia Artificial en la revisión ha generado, cómo no, un debate tanto sobre la oportunidad como sobre la potencialidad de ésta para realizar una tarea que requiere de un gran esfuerzo intelectual y de conocimientos específicos.
Cárdenas (2023) resume el debate sobre el uso de la IA en la evaluación en dos posiciones:
Los contrarios al uso de la IA en la evaluación del conocimiento científico arguyen que los modelos de lenguaje de gran tamaño (LLM) son opacos -se desconoce con qué datos han sido entrenados-, y sesgados al estar basados en datos pasados.
Los que defienden el uso de la IA en la revisión de artículos científicos tienen dos argumentos principales, que se basan en la reducción del tiempo de evaluación y en que “el conocimiento que un revisor humano tiene sobre un tema puede ser parcial u obsoleto, mientras que herramientas de IA especializadas pueden valorar de forma más global al tener acceso a grandes bases de datos científicas”.
Pero cuando hablamos de la introducción de la IA en el proceso de revisión, no nos referimos únicamente a software o aplicaciones específicamente desarrolladas para llevar a cabo una revisión completa de los envíos. En los últimos años han ido apareciendo diferentes herramientas basadas en modelos de procesamiento de lenguaje natural (PLN) o en grandes modelos lingüísticos (LLM) que apoyan o automatizan diferentes aspectos de este proceso, desde la detección del plagio hasta la revisión de las referencias. Kousha y Thelwal (2024), tras analizar diferentes herramientas y estudios sobre el tema, concluyen que la inteligencia artificial aún está lejos de poder reemplazar a los revisores humanos. No obstante, afirman que las herramientas de IA disponibles para la revisión pueden ser útiles para la detección rápida de errores obvios, la revisión gramatical o para la comprobación metodológica o estadística, facilitando ciertas tareas a los revisores y acortando el tiempo empleado por éstos.
Cómo ayuda la IA a la revisión por pares
Si bien todavía no se puede confiar en la IA para hacer revisiones completas, existen numerosas herramientas que pueden facilitarla. Estas herramientas ofrecen una amplia gama de funcionalidades que optimizan y mejoran la calidad de las evaluaciones.
En el siguiente listado se muestran, a modo de ejemplo, algunas aplicaciones según la ayuda que pueden prestar a la revisión (COPE, 2023 ; Kousha & Thelwall, 2024) :
Rechazo automático de manuscritos deficientes
para revisar el informe de revisión en busca de errores gramaticales y mejorar el tono para que sea más académico y claro antes de enviar la evaluación final.
Recite verifica y resalta automáticamente si las citas en el texto del manuscrito coinciden con la lista de referencias y viceversa, asegurando la precisión en la citación y reduciendo
errores comunes en la preparación del manuscrito.
Estandarización de formatos de revisión
StatCheck detecta errores estadísticos en los trabajos presentados, lo que permite a los revisores identificar errores en los análisis estadísticos y verificar la plausibilidad de los resultados presentados en los artículos.
Dimensions Research Integrity preCheck es una herramienta que analiza manuscritos enviados en busca de evidencia de transparencia y reproducibilidad, como declaraciones
de acceso a datos y la mención de las versiones del software utilizado, ayudando a los revisores a evaluar la solidez y la replicabilidad de la investigación presentada
Como es obvio, hay que tener en cuenta que el uso de estas herramientas tiene implicaciones éticas importantes. Estas herramientas suelen implicar la manipulación o procesamiento de
información sensible, por lo que es fundamental considerar aspectos como la privacidad y la propiedad intelectual. Esto es especialmente relevante cuando se utilizan en la revisión por
pares, ya que pueden aplicarse sobre trabajos de terceros o implicar el análisis de datos que no nos pertenecen o que están sujetos a protección legal. Recomendamos, por lo tanto, que su uso sea cuidadoso y siempre en cumplimiento con las normativas vigentes sobre confidencialidad, protección de datos y propiedad intelectual.
Cárdenas, J. (2023). Inteligencia artificial, investigación y revisión por pares: escenarios futuros y estrategias de acción. Revista Española de Sociología, 32(4), a184.
https://doi.org/10.22325/fes/res.2023.184
COPE (13 de octubre de 2023). Artificial intelligence (AI) and peer review. https://youtu.be/HJYB1IaS598?si=NPoSpaN-sN5apxvY
Kousha, K. and Thelwall, M. (2024). Artificial intelligence to support publishing and peer review: A summary and review. Learned Publishing, 37(1), 4-12. https://doi.org/10.1002/leap.1570
No hay comentarios:
Publicar un comentario