Entérese de los malabares realizados por el índice histórico de medición de la ciencia, Web of Science, para justificar "científicamente" sus cálculos numéricos... y así posicionar al producto frente a la competencia...
Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2022/07/26/the-end-of-journal-impact-factor-purgatory-and-numbers-to-the-thousandths/?informz=1&nbd=567d61ec-36ea-4197-85eb-43e2bd36d175&nbd_source=informz
Por ANGELA COCHRAN
26 DE JULIO DE 2022
Nota: Clarivate proporcionó respuestas a mis preguntas que lamentablemente fueron retenidas en tránsito y capturadas como spam. Consulte sus respuestas al final de este artículo.
Science Citation Index Expanded (SCIE)*
Social Sciences Citation Index (SSCI)*
Arts and Humanities Citation Index (AHCI)
Emerging Sources Citation Index (ESCI)
Las revistas incluidas en los índices Science Citation Index Expanded (SCIE) y Social Sciences Citation Index (SSCI) obtienen actualmente un Factor de Impacto.
Pero a partir de 2023 (que corresponderá a los Factores de Impacto de 2022), las revistas incluidas en los índices Arts and Humanities Citation Index (AHCI) y del Emerging Sources Citation Index (ESCI) también obtendrán Factores de Impacto.
Las revistas con Factor de Impacto se incluyen en el Journal Citation Report (JCR).
Emerging Sources Citation Index (ESCI) fue lanzado en 2015, como índice de revistas “emergentes”
En el momento de su lanzamiento, se anunción que ESCI probablemente contaría con el cálculo de FI en algún momento.
Pero, en realidad, 7 años después las revistas ESCI siguen sin FI, no obstante que algunas de esas revistas llevan indizadas desde 2005… esto es, ya tenían más de 10 años indizadas antes de lanzarse ESCI
ESCI incluye más de 7,800 revistas con 3 millones de registros. Algo más de un tercio de esos registros son de acceso abierto.
Los criterios de inclusión de los cuatro índices del WoS incluyen 24 medidas de calidad y cuatro de "impacto". Las revistas que cumplen los 28 criterios se incluyen en el SCIE, el SSCI y el AHCI. Las que sólo cumplen las 24 medidas de calidad quedan relegadas al ESCI.
El anuncio de que en 2023 todas las revistas WoS contarán con FI, significa que ya no son necesarios “los cuatro criterios de impacto” para “tener derecho” al FI.
Los 24 criterios de calidad para la inclusión en la Web of Science Core Collection incluyen lo “clásico” (un ISSN, una política de revisión por pares, la puntualidad de la publicación, las afiliaciones del autor y del consejo editorial, la declaración de ética y la coherencia entre el contenido y las citas con los objetivos y el alcance declarados de la revista…)
Se asumen que una vez cumplidos los 24 criterios es probable que la revista se incluya en la Web of Science Core Collection… "Probablemente" porque hay un consejo editorial formado por personas reales que toma la decisión final.
Las 4 medidas de impacto incluyen:
Análisis comparativo de citas: Número y fuentes de citas: ¿las buenas revistas citan el trabajo de las revistas candidatas y es esto sostenible durante algún periodo de tiempo?
Análisis de las citas de los autores: La mayoría de los autores que publican en la revista candidata deben tener un historial de publicación "discernible" en otras revistas indexadas.
Análisis de las citas del consejo editorial: La mayoría de los miembros del consejo editorial que aparecen en la revista candidata deben tener un historial de publicaciones "discernible" en otras revistas indexadas.
Importancia del contenido: El contenido debe ser "de interés, importancia y valor para sus lectores y suscriptores de la Web of Science".
Las 4 medidas de impacto incluyen:
Pero, entonces, ¿Qué ventajas aporta la ESCI?: en realidad, la creación de ESCI se remite a la competencia de WoS-Clarivate vs el producto Scopus-Elsevier, dado que Scopus arribo al mercado con una actitud más inclusiva de revistas, lo que le dio la ventaja de tener más contenido y más representatividad que WoS-Clarivate.
En este marco de competencia, ESCI permitió a WoS incluir más revistas rebajando sus estándares de inclusión, al mismo tiempo que seguía preservando la exclusividad del FI para sus bases de datos de revistas selectas con estándares más altos.
Al mismo tiempo, WoS-Clarivate y Scopus-Elsevier han competido creando nuevas métricas paralelas (“cestas de métricas”) para así ganar la atención, y las suscripciones obviamente, de las bibliotecas.
Sin embargo, el FI sigue pesando enormemente en el interés de los autores al momento de elegir revistas para publicar sus artículos.
Una revistas en el índice ESCI es una revista que se ubica en algo así parecido al “purgatorio”: pertenece a la Core Collection, esto es, es una revistas descubrible en la base de datos del WoS… pero no goza de FI.
Revistas en el purgatorio
Las revistas pueden permanecer en el ESCI durante mucho tiempo, incluso para siempre, lo cual plantea algunos problemas, ya que no se puede ser "emergente" para siempre. O se emerge o no se emerge. Llamar a algo "emergente" indica que las revistas ascenderán en algún momento en un futuro no muy lejano. Sin embargo, hay revistas que llevan en ese Índice desde 2015 o 2016.
En realidad, siendo consistentes con el término revistas "emergentes”, las revistas en esta categoría en los últimos 7 años deberían ser expulsadas o promovidas. Es como tener a alguien como becario durante una década: ya no parece un honor.
Según el sitio de Clarivate, una revista en el ESCI cuyo Factor de Impacto estimado la situaría en la mitad superior de la categoría temática (Cuartiles 1 o 2) probablemente obtendrá un Factor de Impacto… pero sucede que hay revistas que alcanzan esta marca y todavía están en ESCI.
Por otra parte, Clarivate no va a querer reducir la colección eliminando revistas que ya decidieron que cumplían los 24 marcadores de calidad. De ser así, estarían eliminando un buen número de revistas de acceso abierto, revistas regionales de nicho y revistas del "Sur Global". En esencia, significaría castigar a las revistas porque sus autores y editores no están suficientemente establecidos.
De esta forma, Clarivate tenía dos opciones: establecer arbitrariamente un límite de tiempo para las revistas en la ESCI o darles todos los Factores de Impacto.
Es posible que Clarivate mantenga el ESCI y se limite a poner los Factores de Impacto junto a cada título que incluya, pero esto dará mala imagen.
A las revistas les importan dos cosas en relación con el Factor de Impacto: el número y el rango. Como se ha demostrado en los últimos años, los Factores de Impacto en general pueden tener oscilaciones salvajes debido a los cambios en el corpus, los cambios en lo que se cuenta y cuando, y los enormes impactos ambientales, como una pandemia mundial. Si todas las revistas de una categoría suben, o bajan, el rango es la siguiente forma de diferenciarse de la competencia.
Si a las revistas ESCI se les otorga FI pero se les mantiene en una lista separada, aumentará la confusión.
La confusión ya se ha producido con el Journal Citation Indicator (JCI), una métrica puesta en marcha el año pasado. El campo JCI normaliza el impacto de las citas de las revistas y proporciona un número indicador a todas las revistas de la Core Collection, aunque no tengan FI.
La introducción del JCI fue recibida con cierto escepticismo. El FI ha sido criticado durante mucho tiempo por su falta de transparencia. Clarivate ha ofrecido nuevas herramientas en los últimos años para eliminar el misterio del FI.
Quizás el hecho de dar a todas las revistas de la Core Collection un FI alivie la confusión sobre por qué algunas revistas tienen una métrica y otras tienen otra. Es de suponer que ahora todas las revistas de la Core Collection tendrán un Factor de Impacto y un JCI.
También es posible que la ESCI se mantenga, pero con muchas menos revistas. Tal vez las revistas que lleven menos de tres años de existencia o que no acumulen suficientes citas (un umbral tal vez) permanezcan en el ESCI mientras que las demás pasen a sus respectivos índices.
Probablemente, este cambio acelerará la obtención de un FI para la mayoría de las revistas. ¿Cuál será ese tiempo medio de espera? ¿Las revistas que cumplan los 24 marcadores de calidad obtendrán automáticamente un FI en el tercer año?
Actualmente, Clarivate traslada las revistas del SCIE y el SSIE al ESCI si dejan de cumplir los requisitos de las medidas de impacto. Si se elimina el ESCI, ¿se quedarán esas revistas en el Journal Citation Reports? ¿O veremos que las revistas se mueven entre los índices a medida que cambia su impacto?
La otra noticia: en 2023, Clarivate "mostrará" los FI con un solo decimal en lugar de tres.
Con esta medida, Clarivate afirma que quiere "animar a los usuarios a tener en cuenta los demás indicadores y datos descriptivos del JCR al comparar las revistas".
La presentación de números a las milésimas ha sido ridiculizada durante mucho tiempo. El razonamiento que se ha dado anteriormente es que es necesario para determinar el rango. A menudo, en la mitad de cualquier categoría se ven revistas que están a sólo una centésima o milésima de su competidor más cercano. Un empate virtual que ahora será un empate real!
La reducción a un punto decimal devalúa el rango y se centra en el número real.
Se plantea la pregunta sobre cuantas revistas ESCI tendrán un FI de 0,0.
¿Qué ocurrirá con las revistas con un FI = 0,0? ¿Serán expulsadas de la lista o aparecerán como si no tuvieran, o prácticamente no tuvieran, citas?
Artes y Humanidades: las revistas del Citation Index de Artes y Humanidades nunca han recibido Factores de Impacto y ahora los tendrán.
La pregunta es: ¿Estas revistas realmente están interesadas en el FI?
En Artes y Humanidades no se encuentra utilidad a la ventana de citación de dos años en el FI. Los artículos son mucho más largos, la revisión por pares lleva más tiempo y la ventana de citación máxima no se acerca al período de dos años del FI.
El FI de las revistas de AHCI ¿es un beneficio o una maldición? Las revistas del Citation Index de Artes y Humanidades nunca han recibido Factores de Impacto y ahora los tendrán.
Pero, ¿Qué significa esto para esas revistas? Realmente, ¿Quieren los Factores de Impacto?
La mayoría de los académicos del área de humanidades no encuentran útil la ventana de citación de dos años en el Factor de Impacto. Los artículos son mucho más largos, la revisión por pares lleva más tiempo y la ventana de citación máxima no se acerca al período de dos años del Factor de Impacto.
Clarivate Analytics ha anunciado hoy (announced today) que va a conceder a todas las revistas de la Web of Science Core Collection un Factor de Impacto con la versión 2023.
La Web of Science Core Collection cuenta con más de 21.000 revistas e incluye:
Science Citation Index Expanded (SCIE)*
Social Sciences Citation Index (SSCI)*
Arts and Humanities Citation Index (AHCI)
Emerging Sources Citation Index (ESCI)
Las revistas que figuran en los índices con un asterisco obtienen actualmente un Factor de Impacto. A partir de la publicación de 2023 (los Factores de Impacto de 2022), las revistas del Arts and Humanities Citation Index (AHCI) y del Emerging Sources Citation Index (ESCI) también obtendrán Factores de Impacto. Las revistas con Factor de Impacto se incluyen en el Journal Citation Report (JCR).
Acerca del Emerging Sources Citation Index (ESCI)
En 2015, Clarivate lanzó el ESCI. Inicialmente se describió como un índice de revistas que son prometedoras, es decir, revistas nuevas o revistas establecidas en áreas de nicho que están creciendo en impacto. En el momento del lanzamiento, se dijo a los editores que una revista seleccionada para el ESCI probablemente obtendría un Factor de Impacto en pocos años.
El modelo de ESCI pareció cambiar unos años más tarde y hay muchas revistas en ESCI que han estado allí desde 2015 que todavía no tienen Factores de Impacto. De hecho, Clarivate incluye el contenido de las revistas indexadas desde 2005, por lo que claramente había revistas de más de 10 años en la base de datos cuando se lanzó.
Clarivate informa (Clarivate reports) que ESCI tiene más de 7,800 revistas con 3 millones de registros. Algo más de un tercio de esos registros son de acceso abierto.
Los criterios de inclusión (inclusion criteria) de los cuatro índices incluyen 24 medidas de calidad y cuatro de "impacto". Las revistas que cumplen los 28 criterios se incluyen en el SCIE, el SSCI y el AHCI. Las que sólo cumplen las 24 medidas de calidad quedan relegadas al ESCI.
Este cambio anunciado hoy indica que las cuatro medidas de impacto ya no son necesarias para obtener un Factor de Impacto.
Acerca de las cuatro medidas de "impacto
Las 24 medidas de calidad para la inclusión en la Web of Science Core Collection incluyen todo lo que cabría esperar: un ISSN, una política de revisión por pares, la puntualidad de la publicación, las afiliaciones del autor y del consejo editorial, la declaración de ética y la coherencia entre el contenido y las citas con los objetivos y el alcance declarados de la revista.
Una vez más, cualquier revista que supere los 24 criterios mencionados es probable que se incluya en la Web of Science Core Collection. Digo "probablemente" porque hay un consejo editorial formado por personas reales que toma la decisión.
Las cuatro medidas de impacto incluyen:
Análisis comparativo de citas: Número y fuentes de citas: ¿las buenas revistas citan el trabajo de las revistas candidatas y es esto sostenible durante algún periodo de tiempo?
Análisis de las citas de los autores: La mayoría de los autores que publican en la revista candidata deben tener un historial de publicación "discernible" en otras revistas indexadas.
Análisis de las citas del consejo editorial: La mayoría de los miembros del consejo editorial que aparecen en la revista candidata deben tener un historial de publicaciones "discernible" en otras revistas indexadas.
Importancia del contenido: El contenido debe ser "de interés, importancia y valor para sus lectores y suscriptores de la Web of Science".
Las revistas candidatas que cumplen con las 24 medidas de calidad, pero que no cumplen con las cuatro medidas de impacto, es probable que sólo estén en el ESCI.
¿Qué ventajas aporta la ESCI?
La Web of Science de Clarivate compite con la base de datos Scopus de Elsevier. Scopus ha tenido tradicionalmente una actitud más inclusiva a la hora de admitir revistas, lo que le da la ventaja de tener más contenido que Web of Science. El lanzamiento de la ESCI permitió a Web of Science rebajar sus estándares de inclusión, admitir miles de revistas y sus archivos de fondo, y seguir otorgando Factores de Impacto sólo a las revistas que cumplen un estándar más alto.
La Core Collection de Web of Science y Scopus de Elsevier se duplican en gran medida. Se han añadido nuevas "cestas de métricas" (“baskets of metrics”) a ambas, ya que compiten por las suscripciones de las bibliotecas.
Las revistas que no tienen Factor de Impacto se enfrentan a grandes batallas. Los autores se preocupan mucho por el Factor de Impacto, a pesar de que algunos grupos han intentado durante décadas trasladar la dependencia del Factor de Impacto a la basura. Las nuevas revistas que carecen de la palabra "Nature" o "Lancet" en sus títulos pueden tener que esperar años (3 años sería el mínimo - se aplican algunas exclusiones, véase la nota más abajo) si no décadas para obtener un Factor de Impacto.
Nota: algunas revistas completamente nuevas reciben Factores de Impacto parciales (partial Impact Factors) porque se consideran importantes para el campo basándose únicamente en el título y en las afiliaciones de los editores.
Tener una revista aceptada en la Core Collection, aunque sólo sea en la ESCI, significa que el contenido de la revista es descubrible en la base de datos Web of Science. También demuestra que ha cumplido los criterios de calidad. Y, sobre todo, señala a los autores potenciales que es probable que obtenga un Factor de Impacto en algún momento. Así que, en este sentido, el ESCI beneficia a las revistas incluidas. Dicho esto, existe el problema del purgatorio (purgatory).
Revistas en el purgatorio
Las revistas pueden permanecer en el ESCI durante mucho tiempo, incluso para siempre. Esto plantea algunos problemas.
No se puede ser "emergente" para siempre. O emerge o no emerge. Llamar a algo "emergente" indica que las revistas ascenderán en algún momento en un futuro no muy lejano. Sin embargo, conozco varias revistas que llevan en ese Índice desde 2015 o 2016. No me refiero a revistas que se lanzaron en 2015, sino a revistas más antiguas incluidas en la base de datos durante el primer año de ESCI.
Para ser fieles al nombre, las revistas denominadas "emergentes" que no hayan sido consideradas "emergentes" en los últimos 7 años deben ser expulsadas o promovidas. Es como tener a alguien como becario durante una década: ya no parece un honor.
Según el sitio de Clarivate, una revista en el ESCI cuyo Factor de Impacto estimado la situaría en la mitad superior de la categoría temática (Cuartiles 1 o 2) probablemente obtendrá un Factor de Impacto. Una vez más, sé de revistas que alcanzan esta marca y todavía están en ESCI.
Clarivate no va a querer reducir la colección eliminando revistas que ya decidieron que cumplían los 24 marcadores de calidad. Y basándose en lo que afirman que está en la ESCI, potencialmente estarían eliminando un buen número de revistas de acceso abierto, revistas regionales de nicho y revistas del "Sur Global". En esencia, significaría castigar a las revistas porque sus autores y editores no están suficientemente establecidos.
Clarivate tenía dos opciones: establecer arbitrariamente un límite de tiempo para las revistas en la ESCI o darles todos los Factores de Impacto.
Preguntas sin respuesta sobre la ESCI
Mi primera pregunta es si se va a eliminar el ESCI. Es posible que Clarivate mantenga el ESCI y se limite a poner los Factores de Impacto junto a cada título que incluya. Esto tiene el potencial de ser una pesadilla de relaciones públicas. (Véase más abajo).
A las revistas les importan dos cosas en relación con el Factor de Impacto: el número y el rango. Como se ha demostrado en los últimos años, los Factores de Impacto en general pueden tener oscilaciones salvajes debido a los cambios en el corpus, los cambios en lo que se cuenta y cuando (changes to what is counted and when), y los enormes impactos ambientales, como una pandemia mundial. Si todas las revistas de una categoría suben, o bajan, el rango es la siguiente forma de diferenciarse de la competencia.
Las revistas que tienen un Factor de Impacto, pero que están en una lista separada, se clasificarán a efectos de promoción en la lista del ranking. Nadie sabrá lo que está pasando. La confusión ya se ha producido con el Journal Citation Indicator, una métrica puesta en marcha el año pasado. El campo JCI normaliza el impacto de las citas de las revistas y proporciona un número indicador a todas las revistas de la Core Collection, aunque no tengan Factores de Impacto.
La introducción del JCI fue recibida con cierto escepticismo. El Factor de Impacto ha sido criticado durante mucho tiempo por su falta de transparencia. Clarivate ha ofrecido nuevas herramientas en los últimos años para eliminar el misterio del Factor de Impacto.
El JCI parece ir en la dirección opuesta. De hecho, Clarivate lo describe de esta manera (described it this way): "Aunque los cálculos en los que se basa el Journal Citation Indicator son complejos y requieren una considerable capacidad de cálculo, el resultado final es sencillo: un único valor fácil de interpretar y comparar, que complementa las métricas actuales de las revistas y apoya aún más el uso responsable".
Quizás el hecho de dar a todas las revistas de la Core Collection un Factor de Impacto alivie la confusión sobre por qué algunas revistas tienen una métrica y otras tienen otra. Es de suponer que ahora todas las revistas de la Core Collection tendrán un Factor de Impacto y un JCI.
También es posible que la ESCI se mantenga, pero con muchas menos revistas. Tal vez las revistas que lleven menos de tres años de existencia o que no acumulen suficientes citas (un umbral tal vez) permanezcan en el ESCI mientras que las demás pasen a sus respectivos índices.
En teoría, este cambio anunciado hoy acelerará la obtención de un Factor de Impacto para la mayoría de las revistas. ¿Cuál será ese tiempo medio de espera? ¿Las revistas que cumplan los 24 marcadores de calidad obtendrán automáticamente un Factor de Impacto en el tercer año?
Actualmente, Clarivate traslada las revistas del SCIE y el SSIE al ESCI si dejan de cumplir los requisitos de las medidas de impacto. Si se elimina el ESCI, ¿se quedarán esas revistas en el Journal Citation Reports? ¿O veremos que las revistas se mueven entre los índices a medida que cambia su impacto?
He formulado estas preguntas pero no he obtenido respuesta a tiempo para publicarla hoy. (Vea las respuestas más abajo)
¿Y los decimales?
El segundo gran anuncio de hoy es que con la versión 2023, Clarivate "mostrará" los Factores de Impacto con un solo decimal en lugar de tres.
Clarivate afirma que quiere "animar a los usuarios a tener en cuenta los demás indicadores y datos descriptivos del JCR al comparar las revistas". Hay que tener en cuenta que no todos los que se preocupan por el factor de impacto de una revista tienen acceso al JCR. Aquellos que no tienen acceso y que han estado confiando únicamente en los Factores de Impacto de varios dígitos y en los rangos, perderán parte de su capacidad para evaluar independientemente las revistas.
La presentación de números a las milésimas ha sido ridiculizada durante mucho tiempo. El razonamiento que se ha dado anteriormente es que es necesario para determinar el rango. Esto es indudablemente cierto. A menudo, en la mitad de cualquier categoría se ven revistas que están a sólo una centésima o milésima de su competidor más cercano. Es un empate virtual -¡bueno, ahora un empate real!
La reducción a un punto decimal devalúa el rango y se centra en el número real. Esto puede ser una historia más difícil de contar para una revista.
La pregunta más importante es cuántas revistas, en particular las de la ESCI, tendrán un Factor de Impacto de 0,0. No sé cuál es el Factor de Impacto más bajo. Vi una lista sin fecha en Internet que decía que el más bajo era 0,017. Una pequeña revista que publica 20 artículos al año sólo necesita obtener una cita para tener un Factor de Impacto de 0,05 que se redondea a 0,1. Pero si publican 23 artículos, entran en el terreno del 0,0.
¿Qué ocurre con las revistas que tienen un 0,0? ¿Son expulsadas de la lista o aparecen como si no tuvieran, o prácticamente no tuvieran, citas?
Artes y Humanidades
No estoy ignorando a propósito el hecho de que las revistas del Citation Index de Artes y Humanidades nunca han recibido Factores de Impacto y ahora los tendrán. Simplemente no sé personalmente qué significa esto para esas revistas. ¿Quieren los Factores de Impacto?
La mayoría de las anécdotas que puedo encontrar en Internet indican que algunos en las humanidades no encuentran útil la ventana de citación de dos años en el Factor de Impacto. Los artículos son mucho más largos, la revisión por pares lleva más tiempo y la ventana de citación máxima no se acerca al período de dos años del Factor de Impacto.
Me gustaría saber más sobre si las revistas de AHCI piensan que obtener Factores de Impacto es un beneficio o una maldición.
Conclusión
Está claro que los Factores de Impacto están aquí para quedarse y también que Clarivate parece estar reaccionando a las críticas contra los Factores de Impacto, curiosamente dando más de ellos. Tener más revistas con Factores de Impacto no debería afectar negativamente a las revistas que ya tienen Factores de Impacto, ya que las citas de las revistas ESCI cuentan para los Factores de Impacto desde 2015.
El mayor impacto es lo que esto significa para la evaluación de las revistas. Necesitamos tener claridad sobre lo que sucederá con ESCI y si los criterios de inclusión del JCR están cambiando. Mientras tanto, las revistas en el purgatorio pueden celebrar mientras esperan sus próximos Factores de Impacto.
ACTUALIZACIÓN
La Dra. Nandita Quaderi, redactora jefe y vicepresidenta editorial de Web of Science, ha respondido a mis preguntas. Lamentablemente, la respuesta se retrasó en el tránsito y no se recibió a tiempo para incluirla en la publicación original.
P: ¿Se está eliminando el ESCI?
R: No, no hay planes para hacer cambios a nivel de producto como resultado de la ampliación de la elegibilidad del JIF - el ESCI se mantendrá, al igual que los tres índices específicos de cada disciplina. La ampliación del JIF a las revistas de ESCI les ayudará a demostrar su valor para la comunidad investigadora. Esta decisión está en consonancia con nuestra postura de que las publicaciones de todas las revistas de calidad, y no sólo las muy citadas, deben poder incluirse en los ejercicios de evaluación de la investigación
P: Si todas las revistas obtienen un factor de impacto, ¿por qué separarlas en las diferentes bases de datos que no dependen de la materia?
R: La diferencia entre el JIF multidisciplinar y los tres índices específicos de cada disciplina es que, para entrar en los índices específicos de cada disciplina, las revistas deben superar tanto los 24 criterios de calidad como los cuatro criterios de impacto adicionales. Esto no va a cambiar como consecuencia de la ampliación del JIF.
P: Si no se elimina, ¿aparecerán las revistas de ESCI en las clasificaciones temáticas correspondientes?
R: No está previsto mostrar clasificaciones de categorías "combinadas" que incluyan revistas emblemáticas (SCIE, SSCI, AHCI) y revistas ESCI. En la publicación del JCR del próximo año, cada categoría tendrá una clasificación para las revistas emblemáticas y una clasificación separada para las revistas ESCI.
P: En la actualidad, existen criterios para la inclusión en el ESCI y criterios diferentes para la inclusión en el SCIE, el SSCI o el AHCI. Tengo entendido que todas las revistas deben cumplir los 24 criterios de calidad, pero que hay cuatro criterios de impacto adicionales necesarios para obtener un factor de impacto. ¿Esta nueva política sólo elimina los cuatro criterios de impacto?
R: Los 24 criterios de calidad y los cuatro criterios de impacto se mantendrán. Todas las revistas, incluidas las indexadas en el SCIE, tienen que superar los 24 criterios de calidad que están diseñados para seleccionar el rigor editorial y las mejores prácticas a nivel de revista. Las revistas indexadas en SCIE, SSCI y AHCI deben superar los cuatro criterios de impacto diseñados para seleccionar las revistas de mayor impacto en sus respectivos campos, utilizando la actividad de citación como principal indicador de impacto. Los detalles de nuestro proceso de evaluación pueden encontrarse aquí: https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/web-of-science/core-collection/editorial-selection-process/editorial-selection-process/
P: El comunicado afirma que más de 9.000 revistas obtendrán Factores de Impacto. ¿Puede proporcionar un desglose de cuántas de ESCI y cuántas de AHCI?
R: Estimamos que más de 1,300 revistas de AHCI obtendrán un JIF y más de 7,600 revistas de ESCI obtendrán un JIF. Estas cifras serán aproximadas hasta el momento de la extracción del JCR el próximo año. Aproximadamente 450 revistas de AHCI ya tienen un JIF, ya que también están incluidas en SCIE y/o SSCI
P: ¿Existen otras fuentes de revistas en la Core Collection que actualmente no tienen Factor de Impacto?
R: No. Hay cuatro índices de revistas en la Core Collection. Las revistas del SCIE y del SSCI ya obtienen un JIF; a partir del próximo año las revistas del AHCI y del ESCI también obtendrán un JIF.
P: La política actual de Clarivate establece que una revista con un Factor de Impacto que baja en las citas podría ser "degradada" a la base de datos ESCI. ¿Habrá nuevas normas sobre las revistas que "pierden impacto"? ¿Podrían perder su Factor de Impacto?
Pregunto de forma ligeramente diferente: Una vez que se tiene un Factor de Impacto, y siempre que se cumplan los 24 criterios de calidad, ¿se perderá alguna vez el Factor de Impacto?
R: Todas las revistas que hayan superado los rigurosos criterios de calidad de Web of Science recibirán un JIF. Las revistas no perderán su JIF si pasan de insignia a ESCI. Sin embargo, el análisis de supresión del JIF se extenderá a las revistas ESCI y AHCI.
P: En cuanto a los tres decimales, ¿qué repercusión tendrá esto en Rank? Es de esperar que haya muchos empates.
R: Sí, habrá muchos más empates, sobre todo en los cuartiles inferiores. Consideramos que se trata de un hecho positivo que animará a los usuarios a tener en cuenta los demás indicadores y datos descriptivos (por ejemplo, el Journal Citation Indicator [JCI]) del JCR a la hora de comparar las revistas.
P: ¿Existen actualmente revistas con Factores de Impacto tan bajos que ya no se registran para un FI (como 0,009?)
R: Si el JIF calculado es de 0,049 o inferior, se mostrará el valor <0,1.
*********************************
The End of Journal Impact Factor Purgatory (and Numbers to the Thousandths)JUL 26, 2022
Note: Clarivate provided responses to my questions that were unfortunately held up in transit and captured as spam. Please see their responses at the end of this post.
Clarivate Analytics announced today that they are granting all journals in the Web of Science Core Collection an Impact Factor with the 2023 release.
The Web of Science Core Collection has over 21,000 journals and includes:
Science Citation Index Expanded (SCIE)*
Social Sciences Citation Index (SSCI)*
Arts and Humanities Citation Index (AHCI)
Emerging Sources Citation Index (ESCI)
Those journals in the indices with an asterisk currently get an Impact Factor. Starting with the 2023 release (the 2022 Impact Factors), journals in the Arts and Humanities Index and the Emerging Sources Citation Index will also get Impact Factors. Journals with an Impact Factor are included in the Journal Citation Report (JCR).
About the Emerging Sources Citation Index (ESCI)In 2015, Clarivate launched the ESCI. It was initially described as an index of journals that are up-and-coming — meaning new journals, or established journals in niche areas that are growing in impact. At the time of launch, publishers were told that a journal selected for ESCI will likely get an Impact Factor within a few years.
The model for ESCI seemed to shift a few years later and there are many journals in ESCI that have been there since 2015 that still don’t have Impact Factors. In fact, Clarivate includes content for indexed journals back to 2005 so there clearly were journals older than 10 years in the database when it launched.
Clarivate reports that ESCI has over 7800 journals with 3 million records. A little over a third of those records are open access records.
The inclusion criteria for all four indices include 24 quality measures and four “impact” measures. Those journals that meet all 28 criteria are included in SCIE, SSCI, and AHCI. Those that only meet the 24 quality measures were relegated to the ESCI.
This change announced today indicates that the four impact measures are no longer required in order to get an Impact Factor.
About the Four “Impact” MeasuresThe 24 quality measures for inclusion in the Web of Science Core Collection includes everything you would expect — an ISSN, a peer-review policy, timeliness of publication, author and editorial board affiliations, ethics statement, and consistency between the content and citations to the stated aims and scope of the journal.
Again, any journal that passes all 24 of these criteria is likely to be included in the Web of Science Core Collection. I say “likely” because there is an editorial board of actual humans that makes the decision.
The four impact measures include:
Comparative Citation Analysis: Number and sources of citations — are good journals citing the work in candidate journals and is this sustainable over some period of time.
Author Citation Analysis: Most authors published in the candidate journal should have a “discernable” publication history in other indexed journals.
Editorial Board Citation Analysis: Most editorial board members listed in the candidate journal should have a “discernable” publication history in other indexed journals.
Content Significance: Content should be “of interest, importance, and value to its intended readership and Web of Science subscribers.”
Candidate journals that meet the 24 quality measures, but do not meet the four impact measures are likely to be in the ESCI only.
What Benefit Does the ESCI Bring?Clarivate’s Web of Science is in hot competition with Elsevier’s Scopus database. Scopus has traditionally had a more inclusive take on admitting journals, giving it the advantage of having more content than Web of Science. Launching the ESCI allowed Web of Science to lower their inclusion standards, admit thousands of journals and their backfiles, and still only bestow Impact Factors on the journals that meet a higher standard.
Web of Science’s Core Collection and Elsevier’s Scopus are largely duplicative of each other. New “baskets of metrics” have been added to both as they compete for library subscriptions.
Journals that do not have an Impact Factor face major uphill battles. Authors care very much about Impact Factor, despite some groups trying for decades to move the dependence on the Impact Factor into the trash bin. New journals that lack the word “Nature” or “Lancet” in their titles may have to wait years (3 years would be the minimum — some exclusions apply, see note below) if not decades for an Impact Factor.
Note: some brand new journals are granted partial Impact Factors because they are deemed important to the field based on title and editor affiliations alone.
Having a journal accepted into the Core Collection, even if just in the ESCI, means that the content of the journal is discoverable in the Web of Science database. It also shows that you have met the quality criteria. And mostly, it signals to potential authors that you are likely to get an Impact Factor at some point. So to this end, the ESCI does benefit included journals. That said, there is the purgatory problem.
Journals in PurgatoryJournals can sit in the ESCI for a very long time, or forever even. This presents a few problems.
You can’t be “emerging” forever. You either emerge or you don’t. Calling something an “Emerging Source” indicates that journals will get promoted at some point in the not so far off future. However, I know of several journals that have been in that Index since 2015 or 2016. I don’t mean journals that launched in 2015, but older journals included in the database within the first year of ESCI.
To remain true to the name, those journals named “emerging” that have not been deemed “emergent” in the last 7 years either need to be kicked out or promoted. It’s like having someone as an intern for a decade — it no longer looks like an honor.
According to the Clarivate site, a journal in the ESCI whose estimated Impact Factor would put it in the top half of the subject category (Quartiles 1 or 2) will likely get an Impact Factor. Again, I know of journals that hit this mark and are still in ESCI.
Clarivate is not going to want to reduce the collection by eliminating journals they already decided met the 24 quality markers. And based on what they claim is in the ESCI, they would potentially be eliminating a fair number of open access journals, niche regional journals, and journals from the “Global South”. In essence, it would mean punishing journals because their authors and editors aren’t established enough.
Clarivate had two options — arbitrarily set a time limit for journals in the ESCI or give them all Impact Factors.
Unanswered Questions about the ESCIMy first question is whether the ESCI is being eliminated. It’s possible that Clarivate will keep the ESCI and just put Impact Factors next to each title it includes. This has the potential of a public relations nightmare. (See below).
Journals care about two things regarding the Impact Factor — the number and the rank. As the last several years have shown, Impact Factors overall can have wild swings due to changes in the corpus, changes to what is counted and when, and huge environmental impacts, such as a global pandemic. If every journal in a category goes up, or down, rank is the next way to differentiate yourself from the competition.
Journals that have an Impact Factor but are still in a separate list will sort themselves for promotion purposes into the ranking list. No one will know what is going on. Confusion has already ensued with the Journal Citation Indicator, a metric rolled out last year. The JCI field normalizes citation impact of journals and provides an indicator number to all journals in the Core Collection, even if they don’t have Impact Factors.
The introduction of the JCI was met with some skepticism. The Impact Factor has long been criticized because of the lack of transparency. Clarivate has offered new tools over the last several years to take the mystery out of the Impact Factor.
The JCI seems to go in the opposite direction. In fact Clarivate described it this way: “Although the calculations behind the Journal Citation Indicator are complex, requiring considerable computing power, the end result is simple: a single value that is easy to interpret and compare, complementing current journal metrics and further supporting responsible use.”
Perhaps giving all journals in the Core Collection an Impact Factor will ease the confusion about why some journals have one metric and other journals have another metric. Presumably now all journals in the Core Collection will have an Impact Factor and a JCI.
It’s also possible that ESCI will remain, but with far fewer journals. Perhaps those journals that have been around for less than three years or don’t garner enough citations (a threshold perhaps) will stay in the ESCI while the others go to their respective indices.
In theory, this change announced today will speed up getting an Impact Factor for most journals. What will that average wait time be? Will journals that meet the 24 quality markers automatically get an Impact Factor in the 3rd year?
Clarivate currently moves journals from SCIE and SSIE to the ESCI if they no longer meet the qualifications of the impact measures. If ESCI is eliminated, will those journals just stay in the Journal Citation Reports? Or will we see journals moving between indices as their impact changes.
I have asked these questions but did not get a response in time for posting today. (See below for answers)
What About the Decimals?The second big announcement today is that with the 2023 release, Clarivate will “display” Impact Factors with only one decimal place instead of three!
Clarivate states that they want to “encourage users to consider the other indicators and descriptive data in the JCR when comparing journals”. It should be noted that not everyone that cares about a journal Impact Factor has access to the JCR. Those without access that have been relying solely on the multi-digit Impact Factors and ranks will lose some of their ability to independently assess journals.
Presenting numbers to the thousandths has been ridiculed for a long time. The rationale given previously is that it is necessary to determine rank. This is undoubtedly true. Often in the middle of any category you see journals that are merely a hundredth or thousandths off from their nearest competitor. It’s a virtual tie — well, now an actual tie!
Reducing to one decimal point devalues rank and focuses on the actual number. This may be a harder story for a journal to tell.
The bigger question is how many journals, particularly those in the ESCI, will have an Impact Factor of 0.0. I don’t know what the lowest Impact Factor is. I saw an undated list online that claimed 0.017 was the lowest. A small journal that publishes 20 papers a year need only get one citation to have an Impact Factor of 0.05 that rounds up to 0.1. But if they publish 23 papers, they slip into 0.0 land.
What happens to those journals with a 0.0? Are they kicked off the list or will they actually show as having no, or virtually no, citations?
Arts and HumanitiesI am not purposefully ignoring the fact that journals in the Arts and Humanities Citation Index have never received Impact Factors and now will get them. I just don’t personally know what this means for those journals. Do they want Impact Factors?
Most anecdotes I can find online indicate that some in the humanities don’t find the two-year citation window in the Impact Factor helpful. Papers are much longer, peer review takes more time, and the peak citation window is no where near the two-year Impact Factor period.
I would love to learn more about whether AHCI journals think getting Impact Factors is a benefit or a curse.
ConclusionIt is clear that Impact Factors are here to stay and also that Clarivate does seem to be reacting to the criticism against Impact Factors, oddly by giving out more of them. Having more journals with Impact Factors should not negatively affect journals already with Impact Factors, as citations from the ESCI journals have counted toward Impact Factors since 2015.
The larger impact is what this means for assessing journals. We need to have clarity on what will happen to ESCI and whether the JCR inclusion criteria are changing. In the meantime, journals in purgatory can celebrate as they await their forthcoming Impact Factors.
UPDATEDr. Nandita Quaderi, Editor in Chief and Editorial Vice President, Web of Science provided the following answers to my questions. Unfortunately the response got held up in transit and was not received in time to be included in the original post.
Q: Is the ESCI being deprecated?
A: No there are no plans to make product-level changes as a result of expanding JIF eligibility – ESCI will remain, as will the three discipline-specific indexes. Expanding the JIF to ESCI journals will help them demonstrate their value to the research community. This decision is aligned to our position that publications in all quality journals, not just highly cited journals, should be eligible for inclusion in research assessment exercises
Q: If all journals get an Impact Factor, why separate them into the different databases that aren’t dependent on subject matter?
A: The difference between multidisciplinary ESCI and the three discipline-specific indexes is that to enter the discipline-specific indexes, journals must pass both the 24 quality criteria and the additional four impact criteria. This is not changing as a result of JIF expansion.
Q: If it is not being eliminated, will the journals in ESCI appear in the appropriate subject rankings?
A: There are no plans to display ‘combined’ category rankings that include flagship (SCIE, SSCI, AHCI) journals and ESCI journals. In next year’s JCR release, each category will have a ranking for flagship journals and a separate ranking for ESCI journals.
Q: Currently, there is criteria for inclusion in the ESCI and different criteria for inclusion in the SCIE, SSCI, or AHCI. It is my understanding that all journals must meet the 24 quality criteria, but that there are four additional impact criteria required for getting an Impact Factor. Is this new policy just eliminating the four impact criteria?
A: The 24 quality criteria and the four impact criteria will remain. All journals, including those indexed in ESCI, need to pass the 24 quality criteria that are designed to select for editorial rigor and best practice at the journal level. Journals indexed in SCIE, SSCI and AHCI need to pass the four impact criteria designed to select the most impactful journals in their respective fields using citation activity as the primary indicator of impact. Details of our evaluation process can be found here: https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/web-of-science/core-collection/editorial-selection-process/editorial-selection-process/
Q: The release states that over 9,000 journals will get Impact Factors. Can you provide a breakdown like how many from ESCI and how many from AHCI?
We estimate that over 1300 AHCI journals will get a JIF and over 7600 ESCI journals will get a JIF. These numbers will be approximate until the time of JCR extraction next year. Approx. 450 AHCI journals already have a JIF as they are also covered in SCIE and/or SSCI
Q: Are there other sources of journals in the Core Collection that currently don’t get an Impact Factor?
No. There are four journal indexes in the Core Collection. Journals in SCIE and SCIE already get a JIF; from next year AHCI & ESCI journals will also get a JIF.
Q: Current Clarivate policy states that a journal with an Impact Factor that slips in citations could be “demoted” to the ESCI database. Will there be new rules about journals that “lose impact”? Could they lose their Impact Factor?
Ask slightly differently: Once you have an Impact Factor, and as long as you meet the 24 quality criteria, would you ever lose an Impact Factor?
A: All journals that have passed the rigorous Web of Science quality criteria will receive a JIF. Journals will not lose their JIF if they move from flagship to ESCI. However, JIF suppression analysis will be extended to ESCI and AHCI journals.
Q: Regarding the three decimal places, what impact will this have on Rank? I would expect there to be a whole lot of ties.
A: Yes, there will be a lot more ties, particularly in the lower quartiles. We see this as a positive development that will encourage users to consider the other indicators and descriptive data (for example, the Journal Citation Indicator [JCI]) in the JCR when comparing journals.
Q: Are there journals currently with Impact Factors so low that they won’t register for an IF anymore (like 0.009?)
A: If the calculated JIF is 0.049 or lower, the value <0.1 will be displayed.
Angela CochranAngela Cochran is Vice President of Publishing at the American Society of Clinical Oncology. She is past president of the Society for Scholarly Publishing and of the Council of Science Editors. Views on TSK are her own.
