Publicado en THE Times Higher Education
https://www.timeshighereducation.com/news/journal-impact-factors-still-exert-undue-influence
Los factores de impacto de las revistas siguen ejerciendo una «influencia indebida»
La «falta de alternativas» es la causa de que la mayoría de los investigadores admitan que se basan en los indicadores de prestigio de las revistas para tomar decisiones sobre subvenciones y contrataciones
Publicado el 2 de febrero de 2026.
Última actualización: 2 de febrero de 2026.
Jack Grove
Twitter: @jgro_the
Las métricas de impacto de la investigación siguen ejerciendo una «influencia indebida» en los comités de contratación y aprobación de subvenciones, según un nuevo estudio que ha revelado que la mayoría de los científicos se basan en el prestigio de las revistas a la hora de evaluar el trabajo de un candidato.
Los académicos llevan mucho tiempo criticando el uso de los factores de impacto de las revistas (JIF), que miden las tasas de citas históricas de una publicación, a la hora de evaluar las fortalezas relativas de un investigador individual.
Sin embargo, una encuesta realizada a casi 500 investigadores en biología que han formado parte de comités de revisión de subvenciones o de paneles de contratación y promoción universitaria en los últimos dos años reveló que la mayoría de los encuestados seguía utilizando este y otros «indicadores extrínsecos» para evaluar no solo la solidez del historial de publicaciones de los candidatos, sino también la fiabilidad de sus resultados.
En el estudio, publicado por la revista de acceso abierto PeerJ, el 57 % de los encuestados afirma que normalmente utiliza al menos uno de los tres indicadores (la reputación de la revista, la reputación del laboratorio o el JIF) para evaluar si «la investigación es creíble».
La reputación de las revistas era el «indicador extrínseco» más fiable a la hora de evaluar la credibilidad de la investigación (lo utilizaba el 48 % de los encuestados) y el 43 % lo utilizaba para decidir si la investigación era fiable o digna de confianza, según el estudio, redactado por los editores de PLOS.
Alrededor del 19 % de los científicos utilizan los JIF para evaluar si un artículo de investigación es creíble, mientras que el 15 % utiliza esta métrica para decidir si la investigación es fiable o digna de confianza, según el informe, que señala que se ha «descubierto que los JIF son un mal indicador de la calidad de la revisión por pares de un manuscrito individual».
Prohibir el uso de los JIF en las consideraciones de financiación, nombramiento y promoción es una de las recomendaciones clave de la Declaración de San Francisco sobre la Evaluación de la Investigación (Dora) de 2012, que ha sido firmada por cientos de instituciones de todo el mundo.
Dado que el 90 % de los encuestados afirma que la evaluación de los resultados de la investigación es importante para las decisiones del panel, pero menos de la mitad dice estar satisfecho con la gama de métricas a su disposición, el estudio afirma que «existe un amplio margen para proporcionar [nuevas] señales de credibilidad y fiabilidad».
Estos podrían abarcar «aspectos específicos de rigor, integridad y transparencia», afirma.
En cuanto a la transparencia, se podría animar a los miembros del panel a considerar si se han seguido prácticas de ciencia abierta, como por ejemplo si un artículo ha compartido conjuntos de datos, códigos o protocolos en un artículo publicado o en una preimpresión.
Mejorar las «señales» para demostrar estas cualidades podría contar con el favor de los científicos, ya que los participantes en el estudio «consideran que la credibilidad y la fiabilidad son muy importantes y no están satisfechos con los medios actuales de evaluación de estas cualidades a su disposición», sugiere el artículo.
El autor Iain Hrynaszkiewicz, director de soluciones de investigación abierta en PLOS, afirmó que el uso de los JIF era «comprensible dada la falta de métricas alternativas para evaluar las cualidades intrínsecas de la investigación... a pesar de que se trata de indicadores imperfectos de la credibilidad de los resultados de investigación individuales».
«Entre los evaluadores de la investigación existía un deseo claro y bienvenido de obtener información sobre las cualidades intrínsecas de la investigación. A los investigadores les preocupaba especialmente la dificultad de evaluar la integridad de la investigación, por ejemplo, a la hora de detectar signos de falsificación, manipulación o plagio», declaró a Times Higher Education.
«Creemos que esto significa que hay muchas oportunidades para desarrollar enfoques —ya sea mediante una orientación y unas expectativas mejoradas, o mediante mejores señales, métricas y herramientas— para mejorar el proceso de evaluación».
///////////////////////////////////////
Journal impact factors still exert ‘undue influence’
Published on February 2, 2026
Last updated February 2, 2026
Twitter: @jgro_the
Research impact metrics still exert an “undue influence” on hiring and grant approval panels, says a new study which found most scientists rely on journal prestige when assessing an applicant’s work.
Academics have long criticised the use of journal impact factors (JIFs), which measure a publication’s historic citation rates, when assessing the relative strengths of an individual researcher.
But a survey of almost 500 biology researchers who have served on either grant review committees or university hiring and promotion panels in the past two years found most respondents still used this and other “extrinsic proxies” to assess not just the strength of an applicant’s publication record but the trustworthiness of their outputs.
In the study, published by the open access title PeerJ, 57 per cent of respondents say they normally use at least one of three indicators – journal reputation, lab reputation or JIF – to evaluate whether or not “research is credible”.
Journal reputation was the most trusted “extrinsic proxy” when evaluating research credibility (it was used by 48 per cent of respondents) and 43 per cent used it to decide whether research was trustworthy or reliable, says the study, written by PLOS editors.
Some 19 per cent of scientists use JIFs to evaluate whether a research paper is credible while 15 per cent use this metric to decide if the research was trustworthy or reliable, says the report, which noted the use of JIFs has been “found to be [a] poor predictor for the quality of peer review of an individual manuscript”.
Banning the use of JIFs in funding, appointment and promotion considerations is one of the key recommendations of the 2012 San Francisco Declaration on Research Assessment (Dora) which has been signed by hundreds of institutions around the world.
With 90 per cent of respondents stating evaluation of research outputs was important for panel decisions but fewer than half saying they were satisfied with the range of metrics at their disposal, the study claims “there is a large area of opportunity to provide [new] signals of credibility and trustworthiness”.
These might cover “specific aspects of rigor, integrity, and transparency”, it says.
For transparency, panellists might be encouraged to consider whether open science practices have been followed, such as whether a paper has shared datasets, code or protocols in a published paper or in a preprint.
Improving “signals” to demonstrate these qualities could find favour among scientists because the study’s participants “consider credibility and trustworthiness very important and are dissatisfied with the current means of assessing these qualities at their disposal”, suggests the paper.
Author Iain Hrynaszkiewicz, director of open research solutions at PLOS, said the use of JIFs was “understandable given the lack of alternative metrics to assess the intrinsic qualities of research…despite these being imperfect indicators of credibility for individual research outputs”.
“There was a clear and welcome desire among research assessors for information about the intrinsic qualities of research. Researchers were especially troubled by difficulties in assessing research integrity, for example in detecting signs of fabrication, falsification, or plagiarism,” he told Times Higher Education.
“We think this means that there are lots of opportunities to develop approaches – whether enhanced guidance and expectations, or better signals, metrics, and tools – to improve the assessment process.”
jack.grove@timeshighereducation.com
****************
No hay comentarios:
Publicar un comentario