Publicado en Xataka
https://www.xataka.com/investigacion/clickbait-ciencia-esta-resumenes-como-abstracts-se-han-convertido-fuente-error-articulos-cientificos
Diversos estudios han hallado inconsistencias entre lo reportado en los resúmenes de los artículos y el texto
Pablo Martínez-Juarez
Los artículos académicos, los papers revisados por pares publicados en revistas científicas, son uno de los pilares de la ciencia hoy en día.
Estos artículos suelen tener una estructura más o menos definida,
con introducción, resultados, conclusiones y discusión, además de un apartado dedicado a la metodología empleada.
Un elemento que nunca (o prácticamente nunca) falta en este tipo de artículos es el abstract.
Abstract es el término con el que se conoce a una suerte de resumen
del contenido del artículo. Es una pieza clave que tiene el objetivo
de servir de guía bibliográfica a quienes están buscando un estudio,
por lo que este breve texto debe responder adecuadamente a la
pregunta ¿de qué va este artículo?
Pero más allá de esta función básica, el abstract a menudo cumple
la función de resumen del artículo, incluyendo información sobre
métodos, resultados y conclusiones del experimento o estudio realizado.
Muchos de los artículos científicos son de acceso limitado,
protegidos por un paywall, el precio de un solo artículo puede
ser de varias decenas de euros, pero los resúmenes están disponibles
en abierto.
Los artículos científicos, incluyendo este breve texto introductorio,
son sometidos a varias revisiones editoriales y científicas, por lo
que cabría esperar que los abstracts sean fieles representaciones
de lo que el artículo y el estudio realizado. El problema es que,
a veces, no lo son tanto.
A finales de los 90, un grupo de investigadores analizó la existencia
de discrepancias entre los resúmenes de los artículos y su contenido.
El equipo analizó más de 260 artículos (44 piezas por seis revistas científicas de relieve) publicados en 1996 y 1997.
Estudiaron dos formas en las que estos resúmenes podrían resultar
incorrectos, bien por inconsistencias con el cuerpo del artículo,
bien por la omisión de información relevante.
Los resultados mostraban variación en los resultados según la
revista (hallaron que entre el 18% y el 68% de los artículos
presentaban problemas). Concluían, en su propio abstract,
que los datos inconsistentes o ausentes en estos resúmenes
eran “comunes, aún en las revistas médicas de gran circulación”.
El estudio fue publicado en 1999 la revista JAMA,
una de las publicaciones analizadas en el mismo.
Han pasado 25 años desde la publicación del estudio de la
revista JAMA y casi 30 desde la publicación de algunos de
los artículos analizados. La ciencia ha cambiado mucho
en esos 25 años. Sin embargo algunos estudios posteriores
indican que este problema persiste.
En 2016, un grupo de investigadores realizó una compilación
y análisis de los estudios realizados en este campo.
Esta revisión de la literatura, publicada en la revista
BMC Medical Research Methodology, halló que el
“nivel de inconsistencia” mediano que hallaban estos estudios
estaba en el 39%, aunque la variabilidad era alta: oscilaba
entre un 4% y un 78%.
Puesto que no todos los errores son igualmente severos,
esta revisión se fijó en los estudios que discriminaban
las inconsistencias graves de las más leves.
Observaron que la mediana en este caso era algo más baja,
pero aún considerable, del 19%.
Estudios posteriores, como uno publicado este año en la revista
The American Journal of Surgery continúan mostrando
la existencia de esta tendencia en la literatura científica.
¿Qué es lo que ocurre entonces? ¿Están falseando sus datos
los científicos? ¿O simplemente estamos siendo testigos
de una importante acumulación de errores? Sabemos que
los resúmenes de los artículos son determinantes a la
hora de recibir citas de otros artículos académicos y
que esta métrica es clave para la evaluación del trabajo
científico para los autores. Pero la publicación misma
de un artículo puede depender a veces de que sus resultados
sean novedosos.
Es por eso que existe un incentivo a poner énfasis en algunos
resultados y matizarlos más tarde. Un resultado no significativo
puede hacer que los editores de la revista o los futuros lectores
pierdan interés por el artículo, independientemente de la calidad real
del estudio. El llamado sesgo de publicación
(que alude a que los estudios con resultados diferentes a cero están
sobrerrepresentados en la literatura científica) es también fruto
de este interés por lo novedoso.
Clickbait académico
Los títulos de los artículos también han sido objeto de escrutinio
en los últimos años. Consciente o inconscientemente,
un titular llamativo puede resultar determinante a la hora de que nos interesemos más o menos por un estudio.
En 2016, un estudio publicado en la revista Frontiers in Psychology
se hacía eco de este fenómeno. El análisis observó cómo la
forma en la que se enunciaban los titulares afectaba
al alcance que alcanzaba el estudio.
Gwilym Lockwood, autor del estudio,
analizó más de 2.000 artículos académicos
y observó que los títulos que enunciaban algo en un marco positivo
tenían mejores métricas que la media. Por otra parte también halló
que los trabajos que recurrían a juegos de palabra mostraban un
peor desempeño. Los títulos que contenían preguntas, por su parte,
no se desviaban de la media de forma significativa.
El problema de los abstracts es uno de tantos a las que se
deben enfrentar las editoriales científicas.
Unas editoriales presionadas por escándalos de diversos tipos,
desde los “molinos de artículos científicos”
hasta los problemas con las tasas cobradas por la publicación
o el acceso a sus contenidos.
La inteligencia artificial es uno de estos problemas, pero
quizás también una potencial solución. En los últimos meses,
y tras algún que otro escándalo, las editoriales científicas
han ido integrando las herramientas de inteligencia artificial
en la publicación científica, más allá de la labor que hayan
podido desarrollar estas herramientas en el desarrollo mismo de la investigación.
La inteligencia artificial tiene la capacidad, entre otras cosas,
de generar resúmenes más “objetivos” o de detectar y
corregir posibles errores y discrepancias entre textos y resúmenes.
