Publicado en blog Lluis Codina
https://www.lluiscodina.com/indices-de-impacto-citescore/
CiteScore (Scopus), Journal Impact Factor (WoS) y Scimago Journal Rank (Scimago), son tres conjuntos de indicadores o índices de impacto que ayudan a medir la influencia de las revistas y publicaciones académicas.
Se cuentan seguramente entre los tres más importantes del mundo y, por esta razón, están entre los más utilizados en procesos para evaluar el desempeño de la actividad científico-académica.
Nota de la edición de julio 2022: recientemente (2021) Clarivate (empresa productora de Web of Science) produjo el nuevo índice denominado Journal Citation Indicator o JCI. No lo trataremos en esta entrada, pero los interesados puden consultar una completa guía aquí.
Esta entrada se organiza de la siguiente forma: en la primera parte presentaremos el concepto general de los índices de impacto y la forma en la que se calculan, así como sus principales variaciones. En la segunda parte, presentaremos con cierto detalle los indicadores que hemos señalado más arriba.
En la tercera parte consideraremos las principales limitaciones generales de los indicadores de impacto, y sus problemas intrínsecos, así como su uso en procesos de evaluación de carreras académicas, a fin de obtener así alguna conclusión sobre su uso en el caso de las ciencias sociales y las humanidades.
PRIMERA PARTEImpacto es un término frecuente (de hecho es obsesivo) en la evaluación de la ciencia y puede referirse a dimensiones muy distintas: social, económico, tecnológico, etc. También, por supuesto, puede referirse al impacto académico que es el que nos interesa aquí. En tales casos, el concepto de impacto está vinculado con la publicación de artículos (u otros formatos documentales) y con las citas que reciben.
Métricas de publicación y métricas de artículosDebido a la obsesión de las agencias de evaluación con el factor de impacto, y en concreto con uno de ellos (JIF), a veces olvidamos que en realidad hay dos tipos de indicadores vinculados con la comunicación académica:
- Métricas a nivel de revista o journal-level metrics
- Métricas a nivel de artículo o article-level metrics
Los indicadores a nivel de artículo son, entre otros, los que se centran en las citas recibidas por el artículo concreto que deseamos analizar. Pero también consisten en las llamadas altmétricas, entre las cuales tenemos el uso, difusión o interacción en redes sociales. Empresas como PlumX o Altmetric proporcionan estas métricas a través de bases de datos entre otro canales.
Los indicadores a nivel de publicación por su parte son los que nos dicen algo sobre la influencia de la publicación de manera global y se basan en ratios (ponderados o no) de citas recibidas. Pero esto lo veremos en detalle en lo que seguirá.
Base común de los índices de impacto a nivel de revistaLa base común de los índices de impacto a nivel de revista (como los que vamos a examinar aquí) consiste en una división entre el número de citas recibidas por un grupo de documentos y el número de documentos que forman parte del grupo. De este modo:
- En el numerador tenemos el número de citas recibidas por un grupo de documentos, o variable A.
- En el denominador tenemos el número de documentos del grupo, o variable B.
- Índice de impacto = A/B.
Esta fue la idea original de Eugene Garfield cuando creó el Journal Impact Factor (JIF) allá por los años 70 del siglo pasado y tuvo un éxito casi inmediato por su aparente sencillez. Sin embargo, como se suele decir: «el diablo está en los detalles».
Lo primero que cabe recordar, como el propio Garfield ha manifestado en varias ocasiones, es que el objetivo de su índice fue pensado para que las bibliotecas universitarias pudieran tomar decisiones en la suscripción de revistas. Como sea, en lo que sigue, intentaremos ayudar a entender cómo funciona este indicador.
Cálculo del impactoEl grupo de documentos se puede referir (de hecho, es lo habitual) a los artículos publicados por una revista durante un período de tiempo. Este período se denomina ventana de citación y suele tener entre 2 y 5 años (según el indicador considerado en cada caso). Las citas que se toman en cuenta son las que han recibido esos documentos durante el año para el que se calcula el índice de impacto.
Véase entonces que, para un índice de impacto con una ventana de citación de N años, tenemos N+1 años implicados: el año para el que se mide el impacto más los N años anteriores que forman la ventana de citación. Como ilustración, usaremos el ejemplo del JIF para calcular el factor de impacto de la revista Z en 2020:
- A es el número total de citas que durante el 2020 han recibido los artículos publicados en 2019 y 2018. Supongamos que este número consiste en 100 citas recibidas.
- B es el número total de artículos publicados en 2019 y 2018. Supongamos que en total en esos dos años la revista ha publicado 50 artículos.
- Factor de impacto de la revista Z en 2020 = 2, porque 100/50 = 2.
Ahora bien, tras la simple (pero ingeniosa) fórmula inventada por Garfield vienen las complicaciones al considerar los detalles sobre cómo se organiza el conteo. Las variables a considerar son las siguientes:
- Ventana de citación. Consiste en el número de años que se toman en consideración para contar el número de citas recibidas. En el ejemplo anterior hemos tomado 2, como en el JIF. Otros indicadores, como el SJR usa 3, y CiteScore por su parte usa 4.
- Documento citable. Las revistas científicas publican diferentes tipos de artículos: artículos de investigación, artículos de revisión, notas breves, noticias de actualidad, crítica de libros, etc. ¿Entran todos los tipos en el cómputo de ítem citable o debe ser restringido a artículos de investigación? De nuevo, aquí hay diferencias según los índices.
- Documento emisor de citas. Lo mismo sucede con los documentos de los que proceden las citas. ¿Cuentan solamente las citas que proceden de artículos de investigación o también las que proceden de artículos de revisión, notas, editoriales, etc.?
- Simetría o asimetría numerador/denominador. De los puntos anteriores se desprende otra cuestión: la tipología de documentos del numerador y la del denominador puede ser la misma (simetría) o, por alguna razón, puede ser diferente (asimetría).
- Simetría o asimetría de fuentes. Por último, pero no menos importante: ¿de dónde tomamos los datos? ¿Las fuentes que usamos para contar los documentos que emiten citas han de ser las mismas que usamos para determinar de qué revistas medimos el impacto?
Visto lo anterior, sobre todo los puntos 4 y 5, una opción es usar la máxima simetría. Es la de Scopus con CiteScore, y de paso la del SJR ya que se basa en Scopus. Otra opción consiste en la asimetría en el numerador y el denominador y también en las fuentes. Es la opción de los JCR (Web of Science) con el JIF.
La simple intuición, incluso la famosa regla de Ockham nos diría que las simetrías parecen lo más aconsejable, tanto por transparencia como por replicabilidad. Pero aquí lo dejamos.
PonderacionesUna variación adicional sumamente interesante surge del hecho de que una vez obtenido el resultado de la división A/B, este número se puede se puede ponderar en función de ciertos factores. Las principales ponderaciones son de dos tipos (aunque podemos encontrar otras, tanto en Scopus como en WoS):
- Normalización por áreas de conocimiento. En áreas donde las citaciones son menos probables (humanidades, p.e.), cada cita vale más. Un ejemplo de este índice ponderado es SNIP.
- Ponderación por prestigio. En el caso de las revistas con un alto índice de impacto, cada cita vale más (de un modo similar al PageRank de Google). Un ejemplo de este tipo de ponderación por prestigio de la fuente es el SJR.
Como hemos señalado, tanto Scopus en su CiteScore metrics, como Web of Science en sus JCR proporcionan algunos de estos índices ponderados.
A veces, con la obsesiva atención que las agencias de evaluación dedican al JIF (sobre todo) y sus cuartiles olvidamos la riqueza real de los datos que proporcionan estas dos bases de datos, incluyendo, por cierto, indicadores a nivel de artículo.
CITESCORE, JIF Y SJR: CARACTERIZACIÓN
Para caracterizar los indicadores utilizaremos principalmente las definiciones de los productores respectivos, eventualmente contrastadas con las fuentes indicadas al pie.
Cabe señalar que las fichas que hemos preparado para cada indicador se centran en las métricas principales de cada índice, por ejemplo, en el caso de WoS en el Journal Impact Factor (JIF), y en el de Scopus en CiteScore, pero tanto WoS como Scopus proporcionan otras métricas que pueden ser tanto o más útiles que las que caracterizamos aquí.
El motivo de que nos centremos en estos indicadores s debe a que son los que suelen tener en cuenta en procesos de evaluación. Tanto en el caso de Scopus como de WoS incluímos también la versión ponderada de sus índices respectivos. Por su parte, el SJR es un índice ponderado de manera directa (por el prestigio de la fuente que emite las citas).
CiteScore (Scopus)
CiteScore es muy fácil de presentar comparado con JIF. La razón es que en CiteScore hay una sola fuente y no existe asimetría ni entre numerador y denominador ni entre índices o fuentes utilizadas. Lo único que tal vez vale la pena señalar (después nos referiremos a las críticas que recibe) es que este año ha pasado a tener una ventana de citación de 4 años. Hasta ahora, había sido de 3 años. También vale la pena destacar que su consulta es abierta.
Journal Impact Factor (JIF)Discussing the Journal Impact Factor inevitably leads one down a rabbit hole. While the numerator of the ratio (total citations) to the journal is clear enough, the denominator (citable items) causes great confusion, and getting a clear answer to its construction requires real work.
Davis, 2016En el caso del JIF hemos empezado con la cita precedente porque es un índice lleno de casuística como ya hemos intentado explicar más arriba.
The citations that comprise the Journal Impact Factor numerator are drawn from the premier journal and proceedings indexes in Web of Science (Science Citation Index Expanded, Social Sciences Citation Index, Arts & Humanities Citation Index, and both the Science and Social Science and Humanities editions of the Conference Proceedings Citation Index, as well as the Emerging Sources Citation Index). Citations from the Book Citation Index do not contribute toward JCR metrics.
The numerator of the Journal Impact Factor consists of any citation to the journal as defined by the title of the journal, irrespective of what item in the journal might be cited. JCR therefore aggregates all citations to a given journal in the numerator regardless of cited document type.
ClarivateActualización 2022
Ver la revisión del nuevo indicador de los JCR: el Journal Citation Indicator (JCI)
***********************************************
Scimago Journal Ranking (SJR)
SJR utiliza los datos de citación de Scopus, pero añade una ponderación para dar más peso a las citas que proceden de revistas de mayor prestigio, así como añade otros valiosos indicadores.
Además, el portal Scimago presenta una ficha de cada revista con una serie de análisis complementarios, así como una serie de indicadores sobre países.
TERCERA PARTE
Uno de los problemas que presentan los indicadores que hemos examinado no es, en realidad, achacable a las propias métricas, sino a la forma en la que se utilizan en algunos procesos de evaluación.
¿Recuerdan que dijimos que existen métricas a diferentes niveles? Concretamente, ¿a nivel de publicación y a nivel de artículo? El problema al que nos referimos es que a veces se pretende certificar la calidad de artículos e investigaciones con indicadores que en realidad corresponden al nivel de la publicación.
Por un lado, es lógico que un autor que haya conseguido publicar en una revista de primer cuartil reivindique este logro, y es lógico que le sea reconocido, porque no es fácil publicar en revistas de calidad, y aún menos en revistas de alto impacto que tienen una enorme tasa de rechazo.
Ahora bien, al menos desde el punto de vista de los autores que han de ser evaluados, el verdadero problema viene por el lado contrario. Una investigación no es defectuosa por haber sido publicada en una revista con bajos índices de impacto. La revista puede tener los mismos umbrales de calidad que una revista de alto impacto, pese a tener menos citaciones. Son cosas diferentes. Y el artículo puede tener una enorme influencia si se mide por las citas que recibe el artículo, no la revista.
Lo contrario, en este caso, sí que funciona (y espero no marear al lector). Un artículo publicado en una revista de alto impacto puede tener una influencia nula. La evidencia al respecto la tenemos si tenemos en cuenta que una parte considerable de artículos publicados en revistas con alto impacto no reciben citaciones.
La captura precedente muestra que entre el 17 y el 24 por ciento de los artículos en las seis primeras revistas de primer cuartil del área de Comunicación no han recibido citas en los cuatro años que mide CiteScore. Según descendemos por el ranking, incluso manteniéndonos en revistas Q1, el porcentaje de artículos llega al 50 por ciento.
Repita conmigo: «factores a nivel de artículo»No tiene ningún sentido, con estos enormes sesgos, dar por sentado que un artículo publicado en una revista Q1 va a tener mayor influencia que un artículo publicado en una revista Q2 o incluso Q3. Para decidir sobre el impacto de un artículo hay que considerar los factores a nivel de artículo, no de revista.
En todo caso, como señala el manifiesto de Leiden, los indicadores cuantitativos pueden apoyar la toma de decisiones, pero no deberían servir para que los evaluadores eludan su responsabilidad. Esta responsabilidad se abandona si no adoptan decisiones informadas que requieren combinar diversos indicadores y el apoyo de evidencia cualitativa como la que representa el impact statement.
Fronteras artificialesPor si fuera poco, los índices de impacto, en su conversión en cuartiles, tampoco sirven para discriminar las revistas de la forma tan radical que gusta a las agencias de evaluación, de modo que llegan a servir para conceder o denegar acreditaciones de carreras académicas enteras,
En concreto, estas normativas pueden aprobar (o suspender) carreras académicas según el número de artículos en revistas de primer cuartil, cuando las diferencias entre primer y segundo cuartil son literalmente insignificantes.
La captura superior muestra la frontera entre Q1 y Q2 en la categoría de comunicación en los JCR (WoS). Está marcada por la revista número 23, aún en el Q1. Pero la diferencia con la 24, ya en el Q2, no existe en realidad. Si nos quedamos con un solo decimal (hablamos de número de artículos, no del peso de una molécula) no hay diferencias.
Además, podemos ver que, entre las revistas 20 a 27, las diferencias siguen siendo ínfimas (de décimas o de centésimas). Sin embargo estas ocho posiciones idénticas atraviesan dos cuartiles porque de la 20 a la 23 son Q1 y de la 24 a la 27 ya son Q2. Las ridículamente pequeñas diferencias entre Q1 y Q2 no justifican que sean equivalentes a la diferencia entre la vida y la muerte académica (conceder o no acreditaciones que abren la puerta a contratos consolidados, o la cierran para siempre).
Problemas intrínsecosAdemás de los señalados, que son problemas generales, los dos grandes índices de impacto JIF y CiteScore, tienen cada uno de ellos problemas intrínsecos. Esto no es algo extraño a cualquier índice, de cualquier clase, desde el cálculo del PIB de una nación hasta el llamado ranking de Shangai, pasando por cualquier otro que se nos ocurra, como el de Gini, por mencionar otro ejemplo de un ámbito muy diferente.
Por tanto, que un índice tenga problemas intrínsecos, ni siquiera es noticia y no es causa para invalidarlos. Si así fuera, no es solo que no podríamos usar CiteScore o JIF, es que no podríamos usar ninguno de los cientos de índices que los gobiernos, investigadores y estudiosos de cualquier disciplina utilizan de forma rutinaria para toda clase de estudios, muchos de ellos esenciales en la toma de decisiones en aspectos críticos.
Lo que es necesario es que seamos conscientes de sus limitaciones y de que los tomemos con cautela y, sobre todo, es necesario conocerlos para no esperar de ellos lo que no pueden darnos. A este fin, vamos a considerar con cierto detalle las limitaciones intrínsecas de cada indicador (esto es, aparte de los posibles problemas de mal uso, que ya hemos visto).
Journal Impact Factor (JIF)Uno de los problemas principales del JIF es la denominada asimetría numerador/denominador. Consiste en la diferente naturaleza tanto del tipo de documentos como de fuentes que utiliza para el numerador y el denominador. En el denominador solo cuentan los artículos de investigación y los de revisión («articles and reviews«). Estos artículos solo se toman de las índices de ciencias y de ciencias sociales.
Para el numerador, el JIF toma todas las citas que reciben las revistas de los índices de ciencias y de ciencias sociales, y ello de manera global, sin considerar a dónde apuntan las citas (tipo de artículo). Las citas las toma de todos los índices de la Colección Principal (por lo tanto, incluyendo humanidades) excepto de libros.
De este modo, en lugar de un solo tipo de documentos, en realidad, en el cálculo del JIF hay tres grupos de documentos:
- Los que emiten las citas y aportan los datos del numerador: en este caso de se trata de documentos publicados tanto por revistas JCR como no-JCR.
- Los que reciben las citas: cualquier tipo de documento publicado por las revistas del JCR, es decir, solo se considera la revista, no el tipo de documento. Seguimos en el numerador.
- Los que aportan el número que figura en el denominador: solo se cuentan artículos de investigación y artículos de revisión publicados por las revistas que forman parte del JCR. Se parece al 2, pero es muy diferente.
Una consecuencia de estas variaciones queda expresada por la siguiente afirmación (el destacado es nuestro) tomada del extenso análisis sobre el JIF que encontramos en uno de los más importante tratados sobre indicadores de ciencia publicados recientemente (Springer Handbook…):
Despite the apparent simplicity of the calculation, JIFs are largely considered nonreproducible
(Larivière, Sugimoto 2020).Otra cuestión muy importante, al menos para algunos, es su negativa a incorporar las humanidades al JIF, sobre la que alegan imposibilidad de establecer índices debido a las hábitos de citación de este ámbito se reducen mayoritariamente a la cita de libros. Algo que ya era discutible en los años 70, cuando se creó el JIF, pero que está totalmente fuera de lugar desde hace tiempo.
El problema principal en el caso del CiteScore es de naturaleza muy diferente. Este índice es transparente y en teoría es fácilmente reproducible porque no existe la asimetría numerador/denominador, ni en el tipo de documentos ni en la fuente, y la composición de todos estos elementos es transparente.
El problema que se le atribuye es que la empresa propietaria de la base de datos, Elsevier, es también una editorial de revistas, y por tanto, se le supone un potencial conflicto de intereses.
Según algunos estudios, la forma de calcular su índice hace que las revistas de Elsevier (entre otras) queden mejor posicionadas que las del grupo Nature (entre otras) comparado con los resultados del JIF.
La razón es que las revistas de este último grupo tienen una naturaleza única en el mundo de las publicaciones de ciencia, con una mezcla de revista académica y revista periodística (los ingleses dirían que es una combinación de journal y magazine), lo que hace que tengan una mayor proporción de trabajos menos propensos a recibir menos citas en revistas puramente académicas.
No obstante, este sesgo es igual para todas las revistas, y no nace del índice en sí, sino de las características de cada revista. Lo que ningún estudio ha podido demostrar es que en CiteScore haya manipulación de algún tipo. Por el contrario, hay un consenso entre los expertos sobre la mayor transparencia de CiteScore, cosa que queda bien recogida en trabajos como los de esta cita (los destacados son nuestros):
Elsevier’s Scopus CiteScore may be a practically more useful journal-based metric than Clarivate Analytics’ Journal Impact Factor (JIF) because it is open and transparent about the background data used to derive the metric and because it confers a metric to Scopus indexed journals that do not carry a JIF.
Okagbue y Teixeira da Silva, 2020 Impact factor vs impact statementEl índice de impacto ya hemos dicho que no es un indicador a nivel de artículo. Para evaluar este último necesitamos métricas a su nivel, o un impact statement (no un impact factor).
El impact statement es un documento breve, o una declaración como dice su nombre, que explica la significación y los aportes clave de un artículo o de una investigación. Existen diversas recomendaciones sobre cómo redactar un impact statement o una declaración de impacto académico. Por ejemplo, Enago Academy propone una versión especialmente articulada compuesta por cuatro apartados:
1. A clear description of the issue or problem that your research addresses. Often you can adapt the problem statement from your recently published articles or conference presentations.
2. A statement of the action you are taking or intend to take to resolve the problem. This action statement should directly refer to the problem statement you wrote in (1).
3. An explanation of the impact. This is the most important part of the impact statement. You need to describe clearly who benefits from your work and in what ways. You can focus on multiple different levels of benefit—individual, organizational, community, or social benefits, as well as benefits to the research community.
4. A list of the people involved in the research, other than yourself. Any collaborators, including institutions you are working with to complete the research, need to be listed in this section. Stakeholders will be looking to understand what each member of the research team is contributing to the project.
Fuente: Enago AcademyNo es necesario que el impact statement sea exactamente como hemos visto en el caso precedente, ni existe, que sepamos un estándar. Por ejemplo, en las evaluaciones para obtener el llamado «sexenio de investigación», el impact statement (aunque no recibe este nombre en el formulario) es una casilla que permite a la persona evaluada añadir unos pocos párrafos en los que explica la significación de cada aportación, siendo publicaciones (artículos, comunicaciones, etc.) cada una de estas aportaciones.
Las evaluaciones cualitativas están en la base de la comunicación académicaComo es evidente el impact statement va a cargo del investigador, por tanto, es una forma de autoevaluación que deberá ser examinada y validada, en su caso, por terceros. Pero de esto es precisamente de lo que estamos hablando, de procesos de evaluación que, por definición, van a cargo de terceros. Hablamos de que estos evaluadores no pueden hacer dejación de su responsabilidad renunciando a considerar aspectos cualitativos en sus evaluaciones. Al final resulta que son esta clase de evaluaciones las que sostienen el edificio de la comunicación académica, a través de procesos conocidos por peer review.
El concepto de autoevaluación es consustancial a estos procesos, donde primero hay una autoevaluación y después hay una evaluación externa. Esta debe ir al cargo de expertos con similares competencias a las de la persona evaluada, por tanto, con capacidad, en este caso, para determinar la validez del impact statement o del tipo de autoevaluación que se trate.
Calidad de la revista vs impactoOtra cuestión importante es separar el impacto de la calidad. Una revista académica puede tener una alta calidad y un bajo impacto si, por ejemplo, se centra en una especialidad con pocos investigadores, esto es, con pocas publicaciones anuales, y más aún si esta especialidad pertenece al ámbito de las humanidades.
Esta diferencia entre calidad e impacto es algo que reconoce muy bien la base de datos WoS en sus colecciones (Delgado, 2020). Para formar parte de los tres índices principales, el de ciencias, el de ciencias sociales y el de humanidades, una revista debe cumpliar 24 criterios de calidad, y 4 criterios de impacto que están muy bien diferenciados Lo podemos ver en la siguiente captura:
Siguiendo el criterio que muestra la captura precedente (tomada de una sesión de formación impartida por Clarivate ), las revistas que forman parte de un cuarto índice, el ESCI, son las han superado el umbral de calidad, pero no el de impacto, lo que no impide que forman parte de la Colección Principal de WoS en función de esta calidad intrínseca de la revista, perfectamente evaluada por los 24 indicadores que muestra la captura.
Índices de impacto en los procesos de evaluaciónAl menos en ciencias sociales y humanidades, si por alguna razón hemos de utilizar indicadores de impacto lo más adecuado es utilizar los tres índices, a saber, CiteScore, SJR y JIF, sin perjuicio de otros que puedan ser relevantes según el contexto. Ello es debido a las diferentes limitaciones de cada uno pero también por la necesidad de utilizar diferentes indicadores como señalan las dos citas siguientes:
Since there is a journal performance market and an article performance market, each one with its patterns, an integrative use of these metrics, rather than just the impact factor alone, might represent the fairest and most legitimate approach to assess the influence and importance of an acceptable research issue, and not only a sound journal in their respective disciplines
Roldan-Valadez et al. 2018Given the dominance of the JIF, and the more complex calculations in other metrics (e.g. SNIP), we believed that an easily understandable and accessible metric was needed to respond to the challenge laid out by second Golden Rule to always use multiple, complementary metrics as quantitative input in research evaluations.
James et al, 2019En cualquier caso, no está justificado, a priori, discriminar ninguno de ellos, y mucho menos los dos primeros (CiteScore, SJR) ya que estos se elaboran sobre una base de la evidencia más amplia, a saber, sobre un mayor número de publicaciones, con una ventana más amplia de citación, con una mayor transparencia y replicabilidad y, esto es fundamental, no excluyen las humanidades.
RacionalidadA veces, en determinadas normativas de evaluación leemos cosas como estas: «las revistas de nivel A son las que forman parte del cuartil 1 y 2 de WoS, o las que forman parte del cuartil 1 de Scopus». O incluso: «para su evaluación o para formar parte del compendio se aceptan artículos de revistas WoS [se entiende, de cualquier cuartil] o de revistas Scopus, excepto cuartil 4».
En ambos ejemplos (tomados de casos reales) los índices de Scopus están arbitrariamente discriminadas. Y esto contra toda evidencia o racionalidad científica. Pero, con todo, lo peor es cuando alguna agencia exige indicar factor de impacto de WoS para revistas de humanidades, cuando la realidad es que ¡no existe!
Una cosa es que un académico que está siendo evaluado, en cualquier campo (incluyendo ciencias sociales o humanidades) disponga de indicadores favorables gracias a los JCR. Este autor tiene la obligación de usarlos en su favor, como un indicio razonable de la calidad de su trabajo, que puede ser complementado con métricas a nivel de artículo u otros indicadores adicionales.
Otra cosa es cuando a un académico, en especial si trabaja en humanidades o ciencias sociales, los indicadores que le resultan favorables son otros, por ejemplo, los de CiteScore o los de SJR. En este caso, es irracional negarle a este académico el derecho a ser evaluado de acuerdo con estos otros indicadores, siendo igual o más sólidos, o igual y tan discutibles, como puedan ser los JCR.
Por último, en ocasiones se discriminan también revistas de WoS cuando estas forman parte del índice denominado Emerging Sources Citation Index (ESCI). La realidad es que entonces estas agencias parecen desconocer el sentido que WoS otorga a este índice y actúan de forma claramente inadecuada.
En este último caso, lo que debemos considerar es que ESCI forma parte de la llamada Colección Principal de WoS. Esta colección la forman las revistas que han superado un exigente umbral de calidad. Por tanto, por este lado, la calidad de la revista, salvo que decidamos desconfiar de WoS (pero entonces desconfiemos también de los JCR), la calidad de la revista, decimos, está garantizada, y no se justifica su exclusión.
Conclusiones y posible aplicación a los procesos de evaluaciónCada vez más instituciones académicas se adhieren a los principios generales del Manifiesto de Leiden y de la declaración DORA. Sin embargo, estas adhesiones no se manifiestan en modificaciones reales en los modos de proceder de las agencias de evaluación.
Por ejemplo, el JIF, sigue teniendo un peso decisivo en la denegación de acreditaciones para avanzar en la carrera académica, dejando poco o ningún espacio a otros indicadores de excelencia que se ajustan mejor a las ciencias sociales y las humanidades, y podrían ayudar a tomar decisiones mucho más justas. O ignorando la posibilidad de considerar el impact statement que ayudaría a que los evaluadores tomaran decisiones mejor informadas. Y estos son dos puntos esenciales que se desprenden de Leiden y DORA.
¿Mejorar la situación sin romperlo todo?Es muy difícil que las agencias de evaluación de la ciencia renuncien a utilizar indicadores cuantitativos, y seguramente aún más que renuncien a utilizar los indicadores de impacto. En parte, porque son útiles, aunque mal utilizados, como afirma DORA, hacen más daño que beneficio, por ejemplo cuando se usan para denegar acreditaciones a investigadores que hacen bien su trabajo, pero no han publicado en revistas Q1, por mencionar un problema especialmente grave.
El misterioso mantenimiento de viejos prejuiciosParece que los expertos que forman parte de las comisiones, más que las propias agencias, quienes son más reacios a abandonar los indicadores de impacto, el (mal) uso de cuartiles y la discriminación injustificada de indicadores (p.e. los de Scopus). Ello es debido sin duda a viejas inercias (aunque carezcan de justificación), pero también porque les debe parecer que simplifican la toma de decisiones.
Además, nadie quiere parecer el responsable de que un proceso de evaluación se convierta en un «coladero» o que se vuelva imprevisible al basarse en elementos subjetivos. Otros expertos, como las decenas de ellos que han inspìrado Leiden y DORA (y los miles que las respaldan), nos dirán que estas prevenciones son injustificadas, y lo argumentan muy bien en la bibliografía especializada, pero al parecer los primeros son los forman parte de las comisiones que tienen más peso en las agencias de evaluación.
Porqué personas expertas siguen creyendo que los JCR deben estar por encima de indicadores equivalentes como CiteScore o SJR, o que un Q2 de WoS es una revista válida, pero un Q2 de Scopus, no, para mí es un misterio, porque no hay nada que lo justifique. Pero cada día tenemos pruebas de estos prejuicios.
¿Podrían mejorarse los procesos de evaluación sin darle la vuelta a todo?Por todo ello, seguramente no podemos esperar, al menos de momento, un cambio drástico en las normativas de evaluación que le de la vuelta a todo. Pero si expertos y agencias no quieren renunciar al uso de indicadores de impacto, al menos podrían adoptar algunas medidas elementales que harían menos dañinos y menos injustos los procesos de evaluación, en particular en el caso de las ciencias sociales y las humanidades. Algunas podrían ser las siguientes.
- Evitar decisiones drásticas, tales como negar una acreditación (o una contratación), basadas exclusivamente en los cuartiles de las revistas; menos aún si se basan en discriminaciones entre Q1 y Q2, y menos aún si se basan en discriminaciones entre WoS y Scopus.
- Dejar de excluir revistas únicamente por su posición en el cuartil, sea Q3 o sea Q4, sean de WoS o de Scopus.
- Aceptar el uso de diversos indicadores por parte de la persona o institución evaluada. Y esto debe hacerse sin ninguna discriminación a priori si tales indicadores se elaboran bajo una base similar y disponen de similares garantías, como sucede con los que hemos presentado aquí.
- Tomar las disposiciones necesarias para que la calidad de una investigación o de un artículo pueda basarse en la investigación misma y en métricas a su nivel, tales como las citas o las altmétricas.
- Dar entrada a las evaluaciones cualitativas, que son las que forman el núcleo de los procesos de tipo peer review, que a su vez, son consustanciales al avance de la ciencia. Por ello, debe considerarse el uso del impact statement en las evaluaciones.
- Permitir el uso en cada caso de los indicadores que mejor representen a la persona u organismo evaluado, siempre que el este indicador sea de tipo externo y disponga de reconocimiento en el ámbito académico o por parte de los expertos.
Las anteriores son ejemplos de medidas más bien conservadoras que, en caso de aplicarse, no modificarían de forma radical los procesos de evaluación que se llevan a cabo actualmente, pero eliminarían los principales problemas que presentan actualmente y acercarían un poco más estos procesos a los puntos básicos de Leiden y DORA.
Antes de cerrar este trabajo, presentamos para los interesados en conocer algo más de los índices de los que nos hemos ocupado, una serie de capturas de pantalla que complementan las fichas que hemos usado más arriba para cada índice. La idea es proporcionar información adicional sobre el uso de los mismos de una forma simple y directa gracias a estas capturas.
Nosotros hemos usado a conveniencia el término índices de impacto, en lugar de factor de impacto (o impact factor) en este artículo por la razón que indicaremos a continuación.
Sucede que, con el término impact factor tenemos un caso de metonimia parecido a lo que en algunas áreas idiomáticas sucede con el término «aspirina» que, de ser una marca comercial, pasó a denominar a los analgésicos en general.
Con el término factor de impacto pasa algo parecido. En realidad es la denominación de un índice de impacto muy concreto, el que desarrolla la empresa Clarivate para los JCR y cuyo nombre oficial completo es Journal Impact Factor o JIF.
A veces, cuando algunos autores utilizan el término «factor de impacto» (o impact factor), no es posible saber si se refieren a los indicadores de impacto basados en citas en general, o al producto concreto de la empresa Clarivate.
Para peor, tal como lo usan algunos parece como si el Journal Impact Factor fuera el único índice de impacto que existe en el mundo (o en toda la Vía Láctea).
Por este motivo, nosotros usamos cuando nos ha parecido conveniente el término índice de impacto, o indicador de impacto, de modo que el Factor de Impacto, CiteScore, etc., quede claro más claro que son casos concretos de esta clase de índices.
Dicho sea de paso, aprovechamos para aclarar que, oficialmente, el nombre completo de este índice es Journal Impact Factor o, sea JIF (no Impact Factor).
Journal Citation Reports (JCR) y otras confusionesOtra confusión terminológica suele venir a cuento de los JCR (Journal Citation Reports). Algunos autores usan este término como sinónimo a veces de la base de datos WoS, en expresiones como «revistas JCR», cuando, por el contexto, se vé que quieren decir «revistas indexadas en la base de datos WoS».
Pero es una mala asimilación, porque lo cierto es que los JCR dejan fuera muchas revistas indexadas en WoS. Por tanto, son cosas distintas. También se suele utilizar como sinónimo del JIF, pero de nuevo son cosas distintas, porque los JIF son una parte de los JCR, pero los JCR proporcionan una decena de índices y el JIF es solamente uno de ellos.
En resumen:
- Por un lado, tenemos la base de datos que produce los JCR, esto es, Web of Science (WoS).
- Por otro lado, tenemos a los JCR, que solamente incluyen una parte de las revistas de WoS.
- Y por último, tenemos el Journal Impact Factor, o JIF que es una de las diferentes métricas que incluyen los JCR.
Decir JCR para referirse al punto 2 es correcto, pero no para referirse a los puntos 2 y 3. Estos son otra cosa y, como tal, tienen su propio nombre (WoS y JIF, respectivamente).
De paso, señalar que JCR es un nombre plural y por un buen motivo, ya que está formado por diversos indicadores e incluye dos índices distintos. Debe decirse entonces, los JCR (no el JCR). El nombre desarrollado no deja lugar a dudas: Journal Citation Reports (gracias, Tomàs Baiget).
Para saber más- Bergstrom, Carl T.; West, Jevin (2016). «Comparing Impact Factor and Scopus CiteScore». Eigenfactor.org December 8, 2016.
- http://eigenfactor.org/projects/posts/citescore.php
- Bohannon, John (2016). «Hate journal impact factors? New study gives you one more reason». Science. Jul. 6, 2916.
- https://www.sciencemag.org/news/2016/07/hate-journal-impact-factors-new-study-gives-you-one-more-reason
- Callaway, Even (2016). «Beat it, impact factor! Publishing elite turns against controversial metric». Nature, 08 July 2016.
- https://www.nature.com/news/beat-it-impact-factor-publishing-elite-turns-against-controversial-metric-1.20224
- Clarivate Analytics (2018). Journal Citation Reports: Document Types Included in the Impact Factor Calculation. https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-Document-Types-Included-in-the-Impact-Factor-Calculation
- Clarivate Analytics (2018). Journal Citation Reports: Source Databases. https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-Source-Databases
- Clarivate Analytics (2018). Journal Citation Reports: Document Types Included in the Impact Factor Calculation. https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-Document-Types-Included-in-the-Impact-Factor-Calculation
- Clarivate Analytics (2018). Journal Citation Reports: Source Databases. https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-Source-Databases
- Davis (2016). «Citable Items: The Contested Impact Factor Denominator». The Scholarly Kitchen https://scholarlykitchen.sspnet.org/2016/02/10/citable-items-the-contested-impact-factor-denominator/
- Delgado, Anne (2020). «Descubre el Emerging Sources Citation Index (ESCI) de la Colección Principal» [curso de formación en vídeo]. Canal de Fecyt en YouTube.
https://www.youtube.com/watch?v=Hnu6AyjAcq0 - Elsevier (2020). «Identifying and understanding research impact». Elsevier. [consulta 23/9/2020]. https://www.elsevier.com/solutions/scopus/how-scopus-works/metrics
- Elsevier (2020). «How Scopus Works». Elsevier. [consulta 23/9/2020]. https://www.elsevier.com/solutions/scopus/how-scopus-works
- Elsevier (2020). CiteScore metrics. Don’t Speculate. Validate.[PDF]
https://www.elsevier.com/__data/assets/pdf_file/0008/318284/ACAD_L_SC_FS_CitesScoreMetrics_2020_FINAL_Web.pdf - Elsevier (2020). «How are CiteScore metrics used in Scopus?» Elsevier, 22/06/2020
https://service.elsevier.com/app/answers/detail/a_id/14880/supporthub/scopus/ - Glänzel, W.; Henk, F.; Moed, H.; Schmoch, U.; Thelwall, M. (2020). Springer Handbook of Science and Technology Indicators. Cham (Switzerland). Springer Nature (978-3-030-02510-6).
- Hubbard, S.C.; McVeigh, M.E. (2011). «Casting a wide net: the Journal Impact Factor numerator». Learned Publishing, v24, i2, 01 April 2011, https://doi.org/10.1087/20110208
- James, C., Colledge, L., Meester, W., Azoulay, N. and Plume, A. (2019). «CiteScore metrics: Creating journal metrics from the Scopus citation index». Learned Publishing, 32: 367-374. doi:10.1002/leap.1246
- Larivière, V.; Sugimoto, C. (2020). «The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects». En: Glänzel et al. Springer Handbook of Science and Technology Indicators. Cham (Switzerland). Springer Nature (978-3-030-02510-6).
- Okagbue, H. I.; Teixeira da Silva, J. A. (2020). Correlation between the CiteScore and Journal Impact Factor of top‑ranked library and information science journals. Scientometrics 124:797–801
https://doi.org/10.1007/s11192-020-03457-x - Paulus FM, Cruz N and Krach S (2018) «The Impact Factor Fallacy.» Front. Psychol. 9:1487. doi: 10.3389/fpsyg.2018.01487
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6109637/pdf/fpsyg-09-01487.pdf - Roldan-Valadez, E., Salazar-Ruiz, S.Y., Ibarra-Contreras, R. et al. (2019), «Current concepts on bibliometrics: a brief review about impact factor, Eigenfactor score, CiteScore, SCImago Journal Rank, Source-Normalised Impact per Paper, H-index, and alternative metrics». Ir J Med Sci 188, 939–951. https://doi.org/10.1007/s11845-018-1936-5
- Villar, Antonio (2011). «El «eigenfactor»: un nuevo y potente instrumento bibliométrico para evaluar la investigación». Aula Abierta, v 39, n. 3. https://dialnet.unirioja.es/descarga/articulo/3691523.pdf
Mención aparte merece la extraordinaria colección de vídeos de formación de Fecyt sobre las bases de datos Scopus y Web of Sciences, que recomendamos calurosamente a todos los interesados en tener una buena formación sobre este importante tema.
Entradas y categorías relacionadas de este sitio