Publicado en Gizmodo
https://es.gizmodo.com/la-ciencia-basura-generada-por-ia-es-un-problema-en-google-scholar-segun-sugiere-un-estudio-2000145067
Una reciente investigación del buscador académico destaca el problema general de textos generados por IA en la literatura académica, en especial cuando se trata de temas controversiales.
Isaac Schultz traducido por Lucas Handley
Un equipo de investigadores estudió la prevalencia de artículos de investigación que aparecen en Google Scholar, en los que hay evidencia de generación artificial del texto. Se trata de un motor de búsqueda académico que facilita el hallar investigaciones históricamente publicadas, en cantidad de publicaciones académicas.
El equipo buscó específicamente el mal uso de los transformadores generativos pre-entrenados (GPT), un tipo de gran modelo de lenguaje (LLM) que incluye el hoy conocido software como el ChatGPT de OpenAI. Son modelos que rápidamente interpretan el ingreso de texto para generar respuestas de inmediato, bajo la forma de cifras, imágenes, y párrafos de texto.
El equipo analizó una muestra de trabajos científicos hallados en Google Scholar, con signos de uso de GPT. Los trabajos seleccionados contenían una o dos frases comunes que los agentes de conversación (chatbots) utilizan gracias a los modelos de lenguaje.
“El riesgo de lo que llamamos hackeo de evidencia aumenta significativamente cuando se propaga la investigación generada por IA en los motores de búsqueda”, afirmó Björn Ekström, investigador de la Facultad Sueca de Ciencias Informáticas y de Biblioteca y coautor del trabajo en un comunicado de la Universidad de Borås. “Esto puede tener consecuencias tangibles ya que los resultados incorrectos van infiltrándose en la sociedad, y posiblemente en más dominios también”.
No hay que creerlo tan solo porque esté allí
Google Scholar toma estudios de Internet, según el equipo, y no revisa si los trabajos son de autores que carecen de credenciales científicas, o si han sido revisados por sus pares. El motor de búsqueda “pesca” entre trabajos de estudiantes, informes, trabajos sin revisar, y más, junto con investigación que sí ha pasado por el escrutinio de mayor nivel.
Hallaron que dos tercios de los trabajos que estudiaron se habían producido al menos en parte con el uso de GPTs, sin revelarlo. Y de esos trabajos, los investigadores hallaron que el 14,5% eran sobre temas de salud, 19,5% sobre temas de medio ambiente, y 23% sobre computación.
“La mayoría de estos trabajos generados por GPT estaban en publicaciones sin indizar, pero hay casos en los que hallamos estudios que aparecen en publicaciones científicas o minutas de conferencias”, indica el equipo.
Destacaron que esto implica dos riesgos: “Ante todo, la abundancia de ‘estudios’ fabricados por IA va llenando todas las áreas de la infraestructura de la investigación y amenaza con sobrecargar el sistema de comunicación académica, poniendo en riesgo la integridad de los registros científicos. Y el segundo riesgo está en la posibilidad aumentada de que el contenido que parece científicamente convincente, de hecho se haya creado engañosamente con herramientas de IA y optimizado para que lo tomen los motores de búsqueda académicos públicamente disponibles, en particular Google Scholar”.
Como Google Scholar no es una base de datos académica, el público puede utilizarlo al buscar literatura científica. Eso es algo bueno. Pero lo lamentable es que resulta más difícil para el público general separar el trigo de la paja cuando se trata de publicaciones con buena reputación, porque incluso la diferencia entre un trabajo sin revisar, y otro que ha sido revisado, podría confundir a la gente. Además el texto generado por IA apareció también en algunos trabajos revisados por pares y en otros que no fueron revisados, lo que indica que todo lo que fabrica o genera la IA embarra las aguas del sistema de información académica.
“Si no podemos confiar en la autenticidad de la investigación que leemos, nos arriesgamos a tomar decisiones basadas en información incorrecta”, dijo Jutta Haider, coautora del estudio, también de la Facultad Sueca de Ciencias. “Pero aunque se trata de una cuestión de inconducta científica, aquí tiene que ver también la alfabetización informática y los medios”.
En los últimos años ha habido trabajos que no se revisaron debidamente, y que en realidad eran textos sin sentido. En 2021 Springer Nature debió retirar más de 40 trabajos en el Arabian Journal of Geosciences, que a pesar de su título trataba temas diversos como deportes, contaminación del aire, y medicina infantil. Además de que no se condicen con los temas esperados, los artículos estaban mal escritos y las oraciones a menudo carecían de una línea de pensamiento que fuese coherente.
La inteligencia artificial empeora el problema. En febrero Frontiers fue criticada por publicar un trabajo en Cell y Developmental Biology que incluía imágenes generadas por el software de IA Midjourney, y específicamente había imágenes anatómicamente incorrectas. Frontiers debió retirar el trabajo a los días de haberlo publicado.
Se necesitan salvaguardas para asegurar que la tecnología esté al servicio del descubrimiento científico, y no funcione como su adversario.
Este artículo ha sido traducido de Gizmodo US por Lucas Handley. Aquí podrás encontrar la versión original.
