Hacia las métricas de contexto: clasificación de citas en Web of Science / Enrique Orduña-Malea

Hacia las métricas de contexto: clasificación de citas en Web of Science

 

Enrique Orduña-Malea
https://orcid.org/0000-0002-1989-8477
Universitat Politècnica de València
Departmento de Comunicación Audiovisual, Documentación e Historia del Arte
enorma@upv.es

 

Los conteos de citas bibliográficas generan a su alrededor un volumen de negocio significativo debido a la compra/venta de datos bibliométricos, generados masivamente dentro de la sociedad plataformizada en la que vivimos actualmente (Ma, en prensa). Una compra/venta potenciada y amplificada por el uso de estos datos en distintos procesos de evaluación (de personas, proyectos, revistas o universidades).

A pesar del negocio construido a través de las citas bibliográficas, la teoría de la citación constituye todavía un mecanismo de explicación relativamente débil a la hora de conocer y comprender los mecanismos que regulan los procesos de construcción, comunicación, consumo y evaluación de la Ciencia. Qué es una cita, qué motivos están detrás de la generación de esa cita y, por tanto, qué significa un “conteo de citas” son preguntas que han generado un amplio debate a lo largo de las últimas décadas. Un debate simplificado por las plataformas que elaboran los indicadores de citas y desfigurado por las entidades responsables de la evaluación de la actividad científica, que han llevado juntos a cosificar la cita hasta convertirla en una simple moneda canjeable por un puesto de trabajo o por una reputación. Hemos de recordar que las acreditaciones y sexenios en España se basan fundamentalmente en la publicación de artículos en revistas de alto impacto (léase Factor de Impacto o indicador similar). Es decir, en revistas que han publicado artículos que han recibido muchas citas.

 

Grandes personalidades de nuestra disciplina y disciplinas afines han tratado de bucear en la teoría de la citación, entre los que destacan–sin ánimo de ser exhaustivo–Merton (1983), Cronin (1981), Latour (1987), Garfield (1988), Leydesdorff (1988), van Raan (1998), Cozzens (1989), Wouters (1999), Small (2004), Moed (2005) o Bornmann y Daniel (2008). Las distintas teorías giran desde la visión positivista y normativa (la publicación es una unidad de nuevo conocimiento y la cita un reconocimiento) hacia la visión constructivista (las citas son generadas por motivaciones diversas, por lo que contarlas supone un constructo artificial sin sentido). A mitad de camino se encuentran teorías como el constructivismo social, que considera a la cita como un acto de persuasión (Gilbert, 1977; Latour, 1987) o, más recientemente, la teoría de citación de sistemas sociales (Tahamtan y Bornmann, 2022), basada en la teoría de sistemas sociales de Luhmann (2012). La literatura ha producido incluso metateorías (Cronin, 2006).

 

Una derivada del estudio del proceso de citación (Cronin, 1984) ha sido la clasificación de las citas según la supuesta motivación que ha guiado a los autores a crearlas (Small, 1982), incluyendo el rol, efectos y significado de las autocitas (Glänzel et al., 2006). La clasificación de citas ha dado lugar ocasionalmente a nuevos indicadores. La clasificación puede centrarse en el análisis de los documentos citantes (por ejemplo, velocidad de la cita, aceleración o procedencia de la cita) o en los documentos citados (por ejemplo, intensidad, localización o contexto de la cita).

 

Los recientes avances en machine learning (en ocasiones llamado Inteligencia Artificial de forma un tanto exagerada) han permitido ahondar en la clasificación automática de las citas. Algunas bases de datos como Semantic Scholar ya proporcionan datos de citas clasificadas, llamadas en este caso citation intent (background citation, method citation, results citation). Scite permite por su parte filtrar las citas recibidas según el tipo (supporting, mentioning, contrasting) y sección (introduction, methods, results, discussion).

 

Clarivate Analytics ha estado igualmente trabajando en la clasificación de las citas desde abril de 2021 como parte de la nueva funcionalidad lanzada de referencias citadas enriquecidas (enriched cited references). En febrero de 2022 se presentó información básica de este proyecto (Clarivate Analytics, 2022a) y en mayo de 2022 se publicó la integración del nuevo servicio en los resultados de búsqueda de Web of Science (Clarivate Analytics, 2022b).

 

La cita es clasificada según cada instancia (mención) en la que aparece, evaluando para ello las palabras exactas utilizadas por los autores en la frase correspondiente, así como las frases anteriores y posteriores. Es decir, se analiza el contexto en el que se ha producido la cita con el fin de conocer la supuesta intención subyacente. Por ese motivo, una cita mencionada tres veces distintas a lo largo de un trabajo (por ejemplo, en tres secciones diferentes) podría estar clasificada de forma diferente según cada mención.

 

Las citas en WoS se clasifican actualmente bajo las siguientes categorías (Clarivate Analytics, 2022b):

• Background. La cita se debe a una investigación previamente publicada, y que orienta el documento citante dentro de un área académica concreta.
• Basis. La cita pretende informar de conjuntos de datos, métodos, conceptos e ideas en los que los autores del documento citante se basan.
• Support. El documento citante informa de la obtención de resultados similares. Igualmente, puede referirse a similitudes en la metodología o, en algunos casos, a la reproducción de resultados.
• Differ. El documento citante informa mediante una cita que ha obtenido resultados diferentes a los obtenidos en el documento citado. Esto también puede referirse a diferencias en la metodología o diferencias en los tamaños de muestra que afecten los resultados.
• Discuss. El documento citante cita otro estudio porque está ofreciendo una discusión más detallada sobre el tema tratado.

Los usuarios pueden actualmente ordenar los resultados de una búsqueda según el número total de citas obtenidas por cada registro o, alternativamente, según el número de citas por categoría (Background, Basis, Support, Differ, Discuss).

 

Para cada registro se ofrece la cantidad de citas recibidas por categoría de cita así como el número de documentos citantes que han sido considerados para contextualizar las citas recibidas (denominados citing items en WoS). Adicionalmente, se puede navegar por todos los documentos citantes y visualizar el contexto exacto en el que se ha producido la cita (in-text mention), de una forma similar a como ya lo ofrece ResearchGate. De ese modo, WoS indica para cada citing item la sección en la que aparece cada instancia de la cita y la categoría asignada (por ejemplo, section: Introduction; Classification: Background).

 

Según datos oficiales de Clarivate Analytics (2022b), las citas clasificadas están disponibles actualmente para los artículos de un 75% de las revistas indexadas en Web of Science Core Collection (WoScc). Clarivate estima seguir aumentando la cobertura de forma paulatina hasta lograr cubrir todas las publicaciones en WoScc. Por otro lado, la cantidad de registros con referencias enriquecidas es igualmente muy pequeño todavía (3.3% de todos los registros en Science Citation Index y 3.1% de todos los registros en Social Science Citation Index).

 

Con el fin de conocer la precisión y exhaustividad del nuevo servicio de clasificación de citas, así como discutir su idoneidad, necesidad y las posibles consecuencias de su utilización, se han llevado a cabo dos casos de estudio: una revista (Profesional de la información) y un autor (Loet Leydesdorff).

 

Los resultados de este breve análisis (en apéndices A y B) muestran que la cobertura de citing items es todavía muy baja (menos del 6% en ambos casos de estudio), con un claro sesgo a los documentos que reciben muchas citas de publicaciones recientes. Por ello, el conteo de citas clasificadas de WoScc no puede ser todavía utilizado con fines métricos ni evaluativos. Clarivate ha anunciado que la cobertura irá creciendo, por lo que se estima que los datos irán modificándose durante los próximos meses, siendo muy inestables actualmente.

 

Con todo, y dada la importancia de esta base de datos tanto para la realización de estudios métricos como para procesos de evaluación, este movimiento de Clarivate se estima estratégico y relevante. Habrá que observar detenidamente los movimientos de sus competidores (Scopus, Dimensions, Google Scholar), quienes podrían adoptar soluciones similares.

 

Este movimiento hacia las citas de contexto abre asimismo una serie de interrogantes:

•  Precisión. Más allá de la mayor o menor cobertura, se abre un interrogante acerca de la precisión con la que las citas son asignadas a una categoría concreta. Sin duda, los algoritmos de aprendizaje irán “aprendiendo” y clasificando mejor, pero siempre existirá un porcentaje de inconsistencias en la clasificación, que deberá ser calibrado.
• Comprensión. No queda claro si con las definiciones aportadas los usuarios, aparte de las máquinas, podrán discernir correctamente las diferencias o matices entre categorías. Por ejemplo, Background y Basis pueden ser categorías difíciles de diferenciar en la práctica. Differ y Discuss podrían parecer citas negativas o críticas, pero no lo son necesariamente. Por cierto, el tono de la cita (positivo, negativo, neutro) no se cubre explícitamente en ninguna de las categorías existentes.
• Simplificación. El sistema asume que una instancia de cita sólo puede ser clasificada en una categoría, aunque en ocasiones esto puede ser una simplificación de la realidad. Posiblemente el uso de facetas podría ayudar a caracterizar mejor la cita clasificada.
• Representatividad. Aparte de la mayor o menor precisión en las tareas de clasificación de los algoritmos, otra duda es la relativa al propio sistema clasificatorio y su representatividad de todas las motivaciones que puedan existir, ¿por qué esas categorías de citas y no otras? En su ensayo sobre el proceso de la citación, Cronin (1984) ya recopilaba hace más de 35 años un gran número de clasificaciones de motivaciones de citas, con mayor o menor grado de solape entre ellas.
• Estabilidad. De hecho, Clarivate ya modificó las categorías usadas en sus primeras pruebas (la categoría Compare se dividió en Support y Differ), y nada impide que pueden volver a cambiar en el futuro.
• Comparabilidad. Las categorías no coinciden además entre las distintas bases de datos con información contextual, lo que dificulta la comparación de esta funcionalidad a través de bases de datos, tal y como ya ha comentado recientemente el conocido bibliotecario y experto Aaron Tay en un hilo en Twitter.[1]
• Idioma. El lenguaje utilizado por los investigadores puede tener una incidencia significativa a la hora de analizar el contexto de la citación (Yutong y Bertin, 2022). Los contextos de citas en publicaciones escritas en inglés podrían tener un tratamiento más preciso que en otros idiomas. Esta circunstancia podría perjudicar a ciertos agregados (autores, revistas) que publiquen principalmente en idiomas diferentes al inglés, aunque sean minoritarios en el universo de WoScc.
• Agregación. No es lo mismo analizar un documento particular que analizar agregaciones de documentos. Los casos de estudio realizados en esta nota (revista y autor) suponen agregaciones en las que puede resultar difícil comprender los resultados obtenidos, pero a la vez pueden ser útiles a la hora de establecer un perfil de impacto y establecer comparaciones a distintos niveles.
• Usos evaluativos. Una vez la cobertura de citing items se expanda por toda la WoScc, es posible que se comience a usar estos parámetros con efectos evaluativos y comiencen a plantearse otras cuestiones, tales como ¿es mejor una cita de Support o Discuss que una cita de Background?, ¿una cita de Differ es positiva? Es decir, ¿se considerarán citas de primera y de segunda categoría?
• Efectos en la comunidad. El uso de las citas clasificadas podría traer distintos efectos en los autores, que podrían modificar su modo de redacción para que la cita sea considerada de una forma o de otra según el algoritmo (especialmente si algunas clasificaciones son mejor valoradas). Del mismo modo, surgen dudas con relación al efecto de la autocitación en los conteos de citas contextuales.
• Extrapolación. Las motivaciones detrás de una cita constituyen un caso particular de las motivaciones relacionadas con menciones (textuales o no) a trabajos y autores. Esta línea de trabajo podría por tanto influir igualmente en estudios relacionados con las motivaciones y significados de una invocación en la Web (Cronin et al., 1998), que han resultado hasta la fecha insatisfactorios a la hora de plantear una teoría del análisis de enlaces (Thelwall, 2006).

La evolución de la tecnología y de las bases de datos nos trae un futuro a medio plazo lleno de indicadores centrados en conectar el acto de la citación/mención al comportamiento de las personas. De hecho las métricas alternativas ya supusieron ese salto hacia el comportamiento (sharing, liking, downloading, etc.), solo que ahora esta conexión mención-comportamiento se lleva a las citas formales que aparecen en trabajos indexados en bases de datos selectivas, usadas en procesos evaluativos.

 

Una mayor variedad de métricas traerá diversidad y eliminará el carácter determinante de otras métricas, enriqueciendo la observación y el análisis, permitiendo además averiguar aspectos hasta ahora poco estudiados o comprendidos dentro del proceso de creación científica. No obstante, esta variedad traerá por otro lado efectos en el comportamiento de los autores para adaptarse a las nuevas formas de medición, especialmente si estos indicadores comienzan a ser utilizados con fines evaluativos. Además, una mayor cantidad de métricas podría dificultar o ralentizar ciertos procesos y análisis, quizá sin añadir nueva información de forma significativa.

 

Todo este movimiento se enmarca en un momento crítico de posicionamiento ante las métricas de impacto científico, no sólo por parte de la comunidad científica sino de las organizaciones de investigación y de las Administraciones públicas. Un momento que se está caracterizando por el fortalecimiento de posiciones extremas: a favor de la diversidad máxima y uso masivo de indicadores por un lado; en contra del uso de cualquier métrica, por otro lado.

 

Este proceso parece coincidir en el tiempo con los avances tecnológicos en machine learning académico, que podrían producir una desintermediación de los humanos no sólo en el proceso de clasificar y evaluar las citas (lo que ya es una realidad) sino en todo el proceso evaluativo, como muestra el proyecto piloto que se está llevando a cabo en el Reino Unido en el que se pretende testear la posibilidad de usar algoritmos para evaluar la calidad de la investigación de cara al próximo ejercicio de evaluación nacional (Research Excellence Framework), que será llevado a cabo en 2027/2028 Singh Chawla, 2022). El papel de asistencia o sustitución de estas herramientas será un tema de amplio debate durante los próximos años.

 

Mientras la tecnología nos avisa de la llegada de una amplia batería de indicadores de contexto y comportamiento de nueva generación, la comunidad sigue sin consensuar una teoría de la citación (si es que existe) y sin comprender plenamente qué significa el conteo de citas (o menciones de cualquier tipo). Quizá sean las propias máquinas quienes den respuesta a estas preguntas. Mientras tanto, parece que los humanos nos hemos conformado con otorgar a los conteos de citas un valor exclusivamente comercial, basado en cubrir una necesidad personal creada artificialmente (principalmente, lograr un puesto de trabajo). Este camino (el del negocio) parece estar avanzando mucho más rápido que el científico (entender qué es la citación científica).

 

Agradecimientos

Mis agradecimientos a Isidro Aguillo y Cristóbal Urbano por sus comentarios y sugerencias a versiones preliminares de este texto.

Referencias

Bornmann, Lutz; Daniel, Hans-Dieter (2008). “What do citation counts measure? A review of studies on citing behavior”. Journal of documentation, v. 64, n. 1, pp. 45-80.

https://doi.org/10.1108/00220410810844150

 

Clarivate Analytics (2022a). New WoS February 18 Release Notes. 18 de febrero, https://clarivate.com/webofsciencegroup/release-notes/wos/new-wos-february-18-release-notes/

 

Clarivate Analytics (2022b). New WOS May 12 Release Notes. 12 de mayo. https://clarivate.com/webofsciencegroup/release-notes/wos/new-wos-may-12-release-notes

 

Cozzens, Susan E. (1989). “What do citations count? The rhetorical-first model”. Scientometrics, v. 15, n. 5-6, pp. 437-447.

https://doi.org/10.1007/BF02017064

 

Cronin, Blaise (1981). “The need for a theory of citing”. Journal of documentation, v. 37, n. 1, pp. 16-24.

https://doi.org/10.1108/eb026703

 

Cronin, Blaise (1984). The Citation Process: the role and significance of citations in scientific communication, London: Taylor Graham. ISBN: 978 0 947568 01 8

 

Cronin, Blaise (2006). “Metatheorizing citation”. Scientometrics, v. 43, n. 1, pp. 45-55. https://doi.org/10.1007/bf02458393

 

Cronin, Blaise; Snyder, Herbert W.; Rosenbaum, Howard; Martinson, Anna; Callahan, Ewa (1998). “Invoked on the Web”. Journal of the American society for information science, v. 49, n. 14, pp. 1319-1328.

https://doi.org/10.1002/(SICI)1097-4571(1998)49:14%3C1319::AID-ASI9%3E3.0.CO;2-W

 

Garfield, Eugene (1998). “Random thoughts on citationology: Its theory and practice”. Scientometrics, v. 43, n. 1, pp. 69-76.

https://doi.org/10.1007/BF02458396

 

Gilbert, G. Nigel (1977). “Referencing as persuasión”. Social studies of science, v. 7, pp. 113-122.

https://doi.org/10.1177/030631277700700112

 

Glänzel, Wolfgang; Debackere, Koenraad; Thijs, Bart; Schubert, András (2006). “A concise review on the role of author self-citations in information science, bibliometrics and science policy”. Scientometrics, v. 67 n. 2, pp. 263-277.

https://doi.org/10.1007/s11192-006-0098-9

 

Latour, Bruno (1987). Science in action: How to follow scientists and engineers through society. Cambridge, MA, USA: Harvard University Press. ISBN: ISBN: 978 0 674792913

 

Leydesdorff, Loet (1998). “Theories of citation?”. Scientometrics, v. 43, n. 1, pp. 5-25.

https://doi.org/10.1007/bf02458391

 

Luhmann, Niklas (2012). Theory of society (vol. 1). Stanford, CA, USA: Stanford University Press. ISBN: 978 0 804739504

 

Ma, Lai (en prensa).” Information, platformized”. Journal of the Association for Information Science and Technology.

https://doi.org/10.1002/asi.24713

 

Merton, Robert K. (1973). The sociology of science: Theoretical and empirical investigations. Chicago, IL, USA: University of Chicago press. ISBN: 0 226 52092 7

 

Moed, Henk F. (2005). Citation analysis in research evaluation. Berlin: Springer. ISBN: 978 1 4020 3714 6

 

Singh Chawla, Dalmeet (2022). “Should AI have a role in assessing research quality?”. Nature News.

https://doi.org/10.1038/d41586-022-03294-3

 

Small, Henry (1982). “Citation context analysis”. In Dervin B., Voigt M. (Eds.). Progress in communication sciences (pp. 287-310). Norwood, NJ: Ablex. ISBN: 0 89391 060 0

 

Small, Henry (2004). “On the shoulders of Robert Merton: Towards a normative theory of citation”. Scientometrics, v. 60, n. 1, pp. 71-79.

https://doi.org/10.1023/b:scie.0000027310.68393.bc

 

Tahamtan, Imán; Bornmann, Lutz (2022). “The Social Systems Citation Theory (SSCT): A proposal to use the social systems theory for conceptualizing publications and their citations links”. Profesional de la información, v. 31, n.4.

https://doi.org/10.3145/epi.2022.jul.11

 

Thelwall, Mike (2006). “Interpreting social science link analysis research: A theoretical framework”. Journal of the American Society for information science and technology, v. 57, n. 1), pp. 60-68.

https://doi.org/10.1002/asi.20253

 

van Raan, Anthony F.J. (1998). “In matters of quantitative studies of science the fault of theorists is offering too little and asking too much”. Scientometrics, v. 43, n. 1, pp. 129-139.

https://doi.org/10.1007/bf02458401

 

Wouters, Paul (1999). “Beyond the Holy Grail: From citation theory to indicator theories”. Scientometrics, v. 44, n.3, pp. 561-580.

https://doi.org/10.1007/bf02458496

 

Yutong, Fei; Bertin, Marc (2022). “The multilingual aspect of citation contexts”. In 26th International Conference on Science and Technology Indicators, pp.1-4.

https://doi.org/10.5281/zenodo.6957504

Apéndice A. Revista científica

Se ha tomado como caso de estudio la revista Profesional de la información. Para ello se han obtenido las 1.604 contribuciones publicadas en esta revista indexadas en Social Science Citation Index (SSCI). La búsqueda realizada fue la siguiente:

 

PROFESIONAL DE LA INFORMACION (Publication Titles) and Social Sciences Citation Index (SSCI) (Web of Science Index) and 2022 (Exclude – Publication Years)

 

Para cada una de las publicaciones se ha obtenido el número de citas totales recibidas, el número de publicaciones desde donde se contabilizan las citas clasificadas (citing items) y el número de instancias de citas clasificadas por tipo de cita. Para ello se ha considerado nuevamente SSCI. Los datos fueron tomados el 15 de octubre de 2022.

 

Tabla 1. Citas clasificadas recibidas por Profesional de la información por fecha de publicación

Año	Publicaciones	Citas			Instancias de citas
		Citas recibidas (Sumatorio)	Citing items	%	Background	Basis	Support	Differ	Discuss
2021	125	195	38	19,5	29	1	3	0	10
2020	192	1.736	223	12,8	147	51	8	0	69
2019	128	718	59	8,2	48	5	2	0	10
2018	121	1.040	64	6,2	50	6	1	0	17
2017	115	1.076	57	5,3	44	5	4	0	15
2016	95	770	35	4,5	23	4	0	0	10
2015	89	920	25	2,7	19	3	0	0	9
2014	73	510	20	3,9	15	7	0	1	3
2013	72	384	7	1,8	3	0	0	0	4
2012	87	557	11	2,0	9	1	1	0	4
2011	93	348	3	0,9	3	0	0	0	0
2010	93	541	5	0,9	5	0	0	0