¿El efecto Covid pone de manifiesto la "validez" del factor de impacto de las revistas?

Publicado en blog THE - Times Higher Education
https://www.timeshighereducation.com/news/validity-journal-impact-factor-highlighted-covid-effect

El efecto Covid pone de manifiesto la "validez" del factor de impacto de las revistas

Un análisis sugiere que los trabajos muy citados podrían duplicar los JIF de algunas revistas de medicina general 

21 de agosto de 2021

Simon Baker

Twitter: @HigherBaker

La "validez" del uso de los factores de impacto de las revistas (JIF) para evaluar la investigación ha sido cuestionada aún más por un análisis que muestra cómo la "avalancha" de investigaciones sobre Covid-19 podría sesgarlos.

Según el documento que compara los patrones de citación antes y durante la pandemia, dos de las principales revistas médicas generales podrían duplicar su JIF -una medida de la media de citas obtenidas por los artículos en una revista concreta- debido a la influencia de los artículos muy citados sobre Covid.

Las revistas especializadas en áreas estrechamente relacionadas con Covid, como la virología, también podrían experimentar un aumento masivo de su JIF, según predice el estudio en Scientometrics.

El uso de los JIF para evaluar la investigación ha sido objeto de crecientes críticas en la última década debido al modo en que los artículos muy citados pueden influir en ellos.

Son uno de los objetivos de la Declaración de San Francisco sobre la Evaluación de la Investigación (Dora) de 2012 (2012 San Francisco Declaration on Research Assessment (Dora)), que afirma que no deben utilizarse "para evaluar las contribuciones de un científico individual, ni en las decisiones de contratación, promoción o financiación".      

En el documento sobre el impacto de la investigación de Covid, Yves Fassin, profesor de innovación y emprendimiento de la Universidad de Gante (Ghent University), detalla cómo el mayor número de citas de un artículo de 2020 sobre Covid alcanzó casi 9.000, en comparación con unas 1.500 de un artículo sobre el cáncer.

"Eso sitúa a ese artículo sobre cáncer más citado en torno a la posición 1.250 en el ranking histórico de artículos sobre cáncer", señala el trabajo, mientras que el artículo sobre Covid más citado ya estaría en el puesto 30.

En una revista, la New England Journal of Medicine (NEJM), sólo ocho artículos alcanzaron más de 250 citas en el primer año tras su publicación entre 2015 y 2019, mientras que 27 artículos superaron este umbral en 2020, todos ellos trabajos sobre Covid. 

Las cifras de citas "son aún más impresionantes" en el caso de una publicación especializada, el Journal of Medical Virology (JMV), señala el documento. Hasta 2019, ningún artículo de la revista obtuvo más de 26 citas en el año siguiente a su publicación. Para 2020, 40 artículos alcanzaron más de 50 citas y uno registró más de 550.

El profesor Fassin muestra a continuación cómo "dos de las revistas ya mejor clasificadas" en términos de JIF, el NEJM y Lancet, podrían duplicar su JIF en los próximos dos años debido a la investigación de Covid, "que es un fenómeno excepcional en bibliometría".

Es poco probable que el JIF de otras revistas altamente clasificadas pero más multidisciplinares, como Science y Nature, se vea tan afectado, según el documento, debido a que tienen una "mayor y más amplia difusión de artículos en diversas áreas de investigación".

Mientras tanto, la JMV podría ver una "explosión" en su JIF que podría hacerla hasta 10 veces más alta y empujarla al top 300 de todas las revistas basadas en JIFs.

"Los factores de impacto de las revistas están muy influenciados por un pequeño número de artículos muy citados", reitera el documento, y "esto es precisamente lo que va a ocurrir con la avalancha de artículos sobre Covid-19".

El estudio dice que el análisis también "confirma la crítica de los estudiosos de la bibliometría sobre el uso del JIF de la revista en la evaluación de los investigadores individuales".

"Varios artículos de Covid-19 en NEJM o en JMV no tienen citas, y por tanto no tienen impacto, a pesar del aumento del JIF de la revista", señala. Sin embargo, los autores de esos artículos podrían salir ganando si el JIF se utilizara para evaluar sus investigaciones.

******************************