Publicado en CLARIVATE ANALYTICS
https://clarivate.com/blog/journal-citation-reports-2024-preview-unified-rankings-for-more-inclusive-journal-assessment/
Avance de Journal Citation Reports 2024: Clasificaciones unificadas para una evaluación más inclusiva de las revistas
TILLA EDMUNDS
Directora de Operaciones de Producto, Investigación y Análisis
Clarivate
22 DE MAYO DE 2024
El lanzamiento de Journal Citation Reports 2024 incluirá clasificaciones unificadas en todas las categorías temáticas, lo que ayudará a simplificar la evaluación del rendimiento de las revistas.
En Clarivate™, estamos profundamente comprometidos a trabajar con la comunidad investigadora para salvaguardar la integridad de la investigación. Invertimos importantes esfuerzos en garantizar que la Web of Science Core Collection™ solo contenga contenidos de fuentes fiables y, en los últimos años, hemos introducido una serie de cambios en la política editorial que afectan al Journal Citation Reports™ (JCR™). Estos contribuyen a nuestros esfuerzos por promover la transparencia, ofrecer más datos y ayudar a nivelar el terreno de juego. Con ello, ayudamos a proteger la integridad de los registros académicos.
Mientras nos preparamos para la publicación de los Journal Citation Reports de 2024, nuestro compromiso de mejorar la transparencia y la confianza en los registros académicos ocupa un lugar central. Como se anunció en marzo de 2023 y se describió con más detalle en febrero de 2024, estamos pasando de clasificaciones de categorías Journal Impact Factor™ (JIF)™ específicas de cada edición a clasificaciones unificadas. Los siguientes ejemplos ilustran cómo afectará este cambio al conjunto de datos de 2023.
Métricas fiables y de confianza para la evaluación de revistas
El JCR de este año introducirá clasificaciones unificadas en todas las categorías temáticas. Este enfoque está diseñado para simplificar la evaluación del rendimiento de las revistas, proporcionando una visión más completa de la posición de cada revista dentro de su área temática respectiva.
La clasificación de cada categoría temática incluirá las revistas asignadas a esa categoría independientemente de su edición, incluido el Emerging Sources Citation Index™ (ESCI). Más de 7.200 revistas tendrán nuevas clasificaciones por categorías temáticas con métricas JIF completas en la versión JCR 2024. De ellas, unas 7.000 proceden del ESCI y 200 del Arts & Humanities Citation Index™ (AHCI). La creación de clasificaciones por categorías unificadas proporcionará una visión por categorías más sencilla y completa para la evaluación del rendimiento de las revistas.
Aunque inicialmente pretendíamos aplicar este cambio a todas las categorías temáticas, tras consultar con la comunidad investigadora hemos decidido no aplicarlo a las categorías exclusivas de artes y humanidades. Un análisis en profundidad de los datos reveló que este enfoque crearía un número inesperadamente elevado de empates en la clasificación que, a su vez, sesgaría las distribuciones de cuartiles, dificultando su interpretación y haciéndolas de dudoso valor para la comunidad. En aras de la transparencia, compartimos nuestros resultados y nuestras dudas sobre la introducción de estas clasificaciones con un grupo de editores y otras partes interesadas del sector. Juntos llegamos al consenso de que lo más responsable sería no publicar clasificaciones para estas categorías. Al final de este blog figura una lista completa de las categorías omitidas.
Enfoque por categorías
El enfoque por categorías simplifica la evaluación del rendimiento de las revistas con una visión holística de todas las revistas de cada categoría temática. En la versión JCR 2023, había 178 clasificaciones por categorías temáticas para el Science Citation Index Expanded™ (SCIE) y 58 clasificaciones por categorías temáticas para el Social Science Citation Index™ (SSCI), con un total de 236. Con la publicación de este año, hay 229 clasificaciones de categorías temáticas, reducidas ligeramente cuando las categorías temáticas son compartidas tanto en SCIE como en SSCI.
Estas categorías temáticas compartidas se combinarán en una única clasificación de categorías temáticas. Las revistas incluidas tanto en SCIE como en SSCI para esa categoría compartida tenían una clasificación para cada edición en años anteriores. A partir de ahora, esas revistas recibirán una única clasificación en esa categoría temática. Este cambio no se aplicará retrospectivamente a los datos del JCR de años anteriores.
Figura 1: Clasificación de las categorías de asignaturas del JCR desde la publicación de 2023 hasta 2024.
Figura 2: Geología: la clasificación SCIE se convierte en Geología.
Figura 3: Psiquiatría, con dos clasificaciones separadas en SCIE y SSCI, se combina en una sola clasificación de Psiquiatría.
Exploración del impacto de estos cambios
La inclusión de las revistas ESCI y AHCI en las clasificaciones por categorías temáticas ha dado lugar a un aumento del tamaño de las categorías: las categorías temáticas de la SCIE han experimentado un aumento medio del ~30% y las categorías temáticas de la SSCI han experimentado un aumento medio mayor, del ~85%. Esto refleja una mayor cobertura de las revistas de ciencias sociales y de artes y humanidades en ESCI, y la inclusión por primera vez de revistas exclusivas de AHCI en las categorías compartidas de ciencias sociales. Historia es la categoría que más creció a partir de las revistas de AHCI, con un ~36% del aumento procedente de las revistas de historia sólo en AHCI.
Figura 4 - Historia incluye ahora las revistas de Historia en ESCI y las revistas de Historia sólo en AHCI.
La distribución dentro de los cuartiles en todas las categorías y las revistas dentro de las categorías sigue un patrón esperado en el que las revistas en SCIE, SSCI y AHCI están más representadas en los cuartiles de mayor rendimiento y la mayoría de ESCI en los cuartiles de menor rendimiento.
En general, las revistas de ESCI tienen un JIF inferior al de las revistas de los índices de ciencias o de ciencias sociales de la misma categoría. Esto se debe a que, para entrar en SCIE o SSCI, una revista tiene que superar nuestros cuatro criterios de impacto, diseñados para seleccionar las revistas con mayor impacto académico, además de nuestros 24 criterios de calidad.
Algunas revistas ESCI tienen un JIF superior al de las revistas científicas y de ciencias sociales de la misma categoría, y esto se debe a varias razones. En primer lugar, la distinción entre ESCI, SCIE y SSCI no se basa únicamente en el JIF de una revista en un momento determinado, sino más bien en si una revista supera nuestros cuatro criterios de impacto. Además, en 2022 pusimos en pausa nuestras evaluaciones de impacto de las revistas indexadas para dedicar más esfuerzos a nuestras evaluaciones de calidad de las revistas enviadas e indexadas. Este ejercicio de priorización nos ha permitido abordar el creciente problema de la contaminación de la literatura académica.
Distribución por cuartiles
Antes
Después
Social science category example (SSCI+ESCI)
Antes
Después
Mantenemos nuestro compromiso de proporcionar a la comunidad investigadora métricas fiables y de confianza para la evaluación de revistas mediante una estrecha colaboración y consulta con nuestros socios. Este próximo cambio en el JCR, que se centra en un enfoque que da prioridad a las categorías con más de 7.000 revistas adicionales, garantiza que los miembros de la comunidad investigadora dispondrán de la imagen más completa de las revistas incluidas en la Web of Science Core Collection, lo que contribuirá a su toma de decisiones y a sus esfuerzos académicos.
Esta es la segunda de una serie de actualizaciones sobre la publicación de Journal Citation Reports 2024. Marque esta página y permanezca atento para más detalles mientras seguimos avanzando en la transparencia e integridad de la evaluación de revistas.
Categorías temáticas compartidas SCIE+SSCI
Las categorías temáticas que pasan de dos clasificaciones separadas a una son: Historia Filosofía de la Ciencia; Ciencia Verde Sostenible Tecnología; Enfermería; Psiquiatría; Salud Pública Ambiental Ocupacional; Rehabilitación; Abuso de Sustancias.
Categorías de asignaturas exclusivas de AHCI
Las categorías de artes y humanidades que no se clasificarán son: Arquitectura; Arte; Estudios Asiáticos; Clásicos; Danza; Cine, Radio, Televisión; Folklore; Humanidades, Multidisciplinar; Reseñas Literarias; Teoría y Crítica Literaria; Literatura; Literatura, Africana, Australiana, Canadiense; Literatura, Americana; Literatura, Islas Británicas; Literatura, Alemana, Holandesa, Escandinava; Literatura, Románica; Literatura, Eslava; Estudios Medievales y Renacentistas; Música; Filosofía; Poesía; Religión; Teatro; Arqueología; Lengua y Lingüística.
*************************
Journal Citation Reports 2024 preview: Unified rankings for more inclusive journal assessment
TILLA EDMUNDS
Director, Product Operations, Research & Analytics
Clarivate
MAY 22, 2024
The Journal Citation Reports 2024 release will include unified rankings across
subject categories, helping to simplify journal performance assessment.
At Clarivate™, we are deeply committed to working with the research community to
safeguard research integrity. We invest significant effort in ensuring that the Web of
Science Core Collection™ only contains content from trustworthy sources and over
the last few years, we’ve introduced a series of editorial policy changes that affect
the Journal Citation Reports™ (JCR™). These contribute to our efforts to promote
transparency, to provide more data and help level the playing field. In doing so, we h elp protect the integrity of the scholarly record.
s we prepare for the release of the Journal Citation Reports for 2024, our
ommitment to enhancing transparency
and trust in the scholarly record takes center stage. As announced in March 2023 and described in more detail in
February 2024, we are moving from edition-specific Journal Impact Factor™ (JIF)™ category rankings to unified
rankings. The following examples illustrate how this change will affect the 2023 dataset.
Trusted and reliable metrics for journal evaluation
This year’s JCR will introduce unified rankings across subject categories. This approach is designed to simplify the
evaluation of journal performance by providing a more comprehensive view of each journal’s standing within its respective subject area.
Each subject category ranking will include journals assigned to that category regardless of edition, including the
Emerging Sources Citation Index™ (ESCI). More than 7,200 journals will have new subject category rankings with
full JIF metrics in the JCR 2024 release. Of those, around 7,000 are from ESCI and 200 from the Arts & Humanities
Citation Index™ (AHCI). The creation of unified category rankings will provide a simpler and more complete
category view for the evaluation of journal performance.
Although we initially intended to apply this change to all subject categories, after consulting with the research
community, we’ve decided not to apply it to arts and humanities-only categories. A deep dive into the data revealed
that this approach would create an unexpectedly large number of ties in rank which, in turn would skew the quartile
distributions, making them difficult to interpret and of questionable value to the community. In the spirit of transparency, e shared our findings and our hesitation to introduce these rankings with a set of publishers and some other industry
stakeholders. Together, we arrived at the consensus that the responsible thing to do would be not to publish rankings
for these categories. A complete list of these omitted categories is provided at the end of this blog.
Category-first approachThe category-first approach simplifies journal performance assessment with a holistic view of all journals in each subject category. In the JCR 2023 release, there were 178 subject category rankings for the Science Citation Index Expanded™ (SCIE) and 58 subject category rankings for the Social Science Citation Index™ (SSCI), totaling 236. With this year’s release, there are 229 subject category rankings, reduced slightly where subject categories are shared in both SCIE and SSCI.
These shared subject categories will combine into a single subject category ranking. Journals ov ered in both SCIE
and SSCI for that shared category had a ranking for each edition in prior y ears. Now those journals will receive a
single ranking in that subject category going forward.
This change will not be applied retrospectively to earlier JCR data years.
Figure 1: JCR subject category rankings from the 2023 release to 2024.
Figure 2: Geology – SCIE ranking becomes Geology.
Figure 3: Psychiatry with two separate rankings in SCIE and SSCI combines into one
Psychiatry ranking.
xploring the impact of these changesThe inclusion of ESCI and AHCI journals in subject category rankings has led to an increase in category sizes, with SCIE subject categories seeing an average increase of ~30% and SSCI subject categories experiencing a larger average increase of ~85%. This reflects broader coverage of social science and arts and humanities journals in ESCI, and the inclusion of AHCI-only journals in social science shared categories for the first time. History is the category that grew most from AHCI journals, with ~36% of the increase coming from history journals only in AHCI.
Figure 4 – History now includes History journals in ESCI and History journals only in AHCI.
The distribution within quartiles across all categories and the journals within the categories follows an expected pattern where journals in SCIE, SSCI and AHCI are more heavily represented in the higher-performing quartiles and the majority of ESCI in the lower-performing quartiles.
In general, ESCI journals have a lower JIF than journals in the science or the social science indices in the same category. That’s because to enter SCIE or SSCI, a journal needs to pass our four impact criteria, which are designed to select journals with the highest scholarly impact, in addition to our 24 quality criteria.
Some ESCI journals have a higher JIF than the science and social science journals in the same category, and there are several reasons for this. First, the distinction between ESCI, SCIE and SSCI is not solely based on a journal’s JIF at a specific point in time; rather it hinges upon whether a journal passes our four impact criteria. Additionally, in 2022 we paused our impact evaluations of indexed journals in order to put more effort into our quality evaluations of submitted and indexed journals. This prioritization exercise has enabled us to address the growing issue of pollution in the scholarly literature.
Quartile distribution
Before
After
Science subject category example (SCIE+ESCI)
Before
After
Social science category example (SSCI+ESCI)
Before
After
We remain committed to providing the research community with trusted and reliable metrics for journal evaluation by working closely with and consulting our partners. This coming change to the JCR, which focuses on a category-first approach with more than 7,000 additional journals, ensures that members of the research community will have the most complete picture of journals covered in the Web of Science Core Collection, supporting their decision-making and academic endeavors.
This is the second in a series of updates on the Journal Citation Reports 2024 release. Bookmark this page and stay tuned for further details as we continue to advance transparency and integrity in journal assessment.
SCIE+SSCI shared subject categories
Subject categories moving from two separate rankings to one are: History Philosophy of Science; Green Sustainable Science Technology; Nursing; Psychiatry; Public Environmental Occupational Health; Rehabilitation; Substance Abuse.
AHCI-only subject categoriesArts and humanities categories that will not be ranked are: Architecture; Art; Asian Studies; Classics; Dance; Film, Radio, Television; Folklore; Humanities, Multidisciplinary; Literary Reviews; Literary Theory & Criticism; Literature; Literature, African, Australian, Canadian; Literature, American; Literature, British Isles; Literature, German, Dutch, Scandinavian; Literature, Romance; Literature, Slavic; Medieval & Renaissance Studies; Music; Philosophy; Poetry; Religion; Theater; Archaeology; Language & Linguistics.
