Enrique Orduña-Malea
https://orcid.org/0000-0002-1989-8477
Universitat Politècnica de València
Departmento de
Comunicación Audiovisual, Documentación e Historia del Arte
enorma@upv.es
Los conteos de citas bibliográficas generan a su alrededor un
volumen de negocio significativo debido a la compra/venta de datos
bibliométricos, generados masivamente dentro de la sociedad plataformizada en
la que vivimos actualmente (Ma, en prensa). Una compra/venta potenciada
y amplificada por el uso de estos datos en distintos procesos de evaluación (de
personas, proyectos, revistas o universidades).
A pesar del negocio construido a través de las citas
bibliográficas, la teoría de la citación constituye todavía un mecanismo de
explicación relativamente débil a la hora de conocer y comprender los
mecanismos que regulan los procesos de construcción, comunicación, consumo y
evaluación de la Ciencia. Qué es una cita, qué motivos están detrás de la
generación de esa cita y, por tanto, qué significa un “conteo de citas” son
preguntas que han generado un amplio debate a lo largo de las últimas décadas.
Un debate simplificado por las plataformas que elaboran los indicadores de
citas y desfigurado por las entidades responsables de la evaluación de la
actividad científica, que han llevado juntos a cosificar la cita hasta
convertirla en una simple moneda canjeable por un puesto de trabajo o por una
reputación. Hemos de recordar que las acreditaciones y sexenios en España se
basan fundamentalmente en la publicación de artículos en revistas de alto
impacto (léase Factor de Impacto o indicador similar). Es decir, en
revistas que han publicado artículos que han recibido muchas citas.
Grandes personalidades de nuestra disciplina y disciplinas afines
han tratado de bucear en la teoría de la citación, entre los que destacan–sin ánimo de ser exhaustivo–Merton (1983), Cronin
(1981), Latour (1987), Garfield (1988), Leydesdorff
(1988), van Raan (1998), Cozzens (1989), Wouters (1999), Small
(2004), Moed (2005) o Bornmann y Daniel (2008). Las
distintas teorías giran desde la visión positivista y normativa (la publicación
es una unidad de nuevo conocimiento y la cita un reconocimiento) hacia la visión
constructivista (las citas son generadas por motivaciones diversas, por lo que
contarlas supone un constructo artificial sin sentido). A mitad de camino se
encuentran teorías como el constructivismo social, que considera a la cita como
un acto de persuasión (Gilbert, 1977; Latour, 1987) o, más
recientemente, la teoría de citación de sistemas sociales (Tahamtan y Bornmann,
2022), basada en la teoría de sistemas sociales de Luhmann (2012). La
literatura ha producido incluso metateorías (Cronin, 2006).
Una derivada del estudio del proceso de citación (Cronin,
1984) ha sido la clasificación de las citas según la supuesta motivación que ha
guiado a los autores a crearlas (Small, 1982), incluyendo el rol,
efectos y significado de las autocitas (Glänzel et al., 2006). La
clasificación de citas ha dado lugar ocasionalmente a nuevos indicadores. La
clasificación puede centrarse en el análisis de los documentos citantes (por
ejemplo, velocidad de la cita, aceleración o procedencia de la cita) o en los
documentos citados (por ejemplo, intensidad, localización o contexto de la
cita).
Los recientes avances en machine learning (en ocasiones
llamado Inteligencia Artificial de forma un tanto exagerada) han permitido
ahondar en la clasificación automática de las citas. Algunas bases de datos
como Semantic Scholar ya proporcionan datos de citas clasificadas,
llamadas en este caso citation intent (background citation, method
citation, results citation). Scite permite por su parte
filtrar las citas recibidas según el tipo (supporting, mentioning,
contrasting) y sección (introduction, methods, results,
discussion).
Clarivate Analytics ha
estado igualmente trabajando en la clasificación de las citas desde abril de
2021 como parte de la nueva funcionalidad lanzada de referencias citadas
enriquecidas (enriched cited references). En febrero de 2022 se presentó
información básica de este proyecto (Clarivate Analytics, 2022a) y en
mayo de 2022 se publicó la integración del nuevo servicio en los resultados de
búsqueda de Web of Science (Clarivate Analytics, 2022b).
La cita es clasificada según cada instancia (mención) en la que
aparece, evaluando para ello las palabras exactas utilizadas por los autores en
la frase correspondiente, así como las frases anteriores y posteriores. Es
decir, se analiza el contexto en el que se ha producido la cita con el fin de
conocer la supuesta intención subyacente. Por ese motivo, una cita mencionada tres
veces distintas a lo largo de un trabajo (por ejemplo, en tres secciones
diferentes) podría estar clasificada de forma diferente según cada mención.
Las citas en WoS se clasifican actualmente bajo las siguientes
categorías (Clarivate Analytics, 2022b):
- Background. La cita se debe a una investigación
previamente publicada, y que orienta el documento citante dentro de un área
académica concreta.
- Basis. La cita pretende informar de conjuntos
de datos, métodos, conceptos e ideas en los que los autores del documento
citante se basan.
- Support. El documento citante informa de la
obtención de resultados similares. Igualmente, puede referirse a similitudes en
la metodología o, en algunos casos, a la reproducción de resultados.
- Differ. El documento citante informa mediante
una cita que ha obtenido resultados diferentes a los obtenidos en el documento
citado. Esto también puede referirse a diferencias en la metodología o
diferencias en los tamaños de muestra que afecten los resultados.
- Discuss. El documento citante cita otro estudio
porque está ofreciendo una discusión más detallada sobre el tema tratado.
Los usuarios pueden actualmente ordenar los resultados de una búsqueda
según el número total de citas obtenidas por cada registro o, alternativamente,
según el número de citas por categoría (Background, Basis, Support,
Differ, Discuss).
Para cada registro se ofrece la cantidad de citas recibidas por categoría
de cita así como el número de documentos citantes que han sido considerados
para contextualizar las citas recibidas (denominados citing items en WoS).
Adicionalmente, se puede navegar por todos los documentos citantes y visualizar
el contexto exacto en el que se ha producido la cita (in-text mention),
de una forma similar a como ya lo ofrece ResearchGate. De ese modo, WoS
indica para cada citing item la sección en la que aparece cada instancia
de la cita y la categoría asignada (por ejemplo, section: Introduction;
Classification: Background).
Según datos oficiales de Clarivate Analytics (2022b), las citas
clasificadas están disponibles actualmente para los artículos de un 75% de las
revistas indexadas en Web of Science Core Collection (WoScc). Clarivate
estima seguir aumentando la cobertura de forma paulatina hasta lograr cubrir
todas las publicaciones en WoScc. Por otro lado, la cantidad de
registros con referencias enriquecidas es igualmente muy pequeño todavía (3.3%
de todos los registros en Science Citation Index y 3.1% de todos los
registros en Social Science Citation Index).
Con el fin de conocer la precisión y exhaustividad del nuevo
servicio de clasificación de citas, así como discutir su idoneidad, necesidad y
las posibles consecuencias de su utilización, se han llevado a cabo dos casos
de estudio: una revista (Profesional de la información) y un autor (Loet
Leydesdorff).
Los resultados de este breve análisis (en apéndices A y B) muestran que la cobertura de citing items es todavía muy baja (menos
del 6% en ambos casos de estudio), con un claro sesgo a los documentos que
reciben muchas citas de publicaciones recientes. Por ello, el conteo de citas
clasificadas de WoScc no puede ser todavía utilizado con fines métricos
ni evaluativos. Clarivate ha anunciado que la cobertura irá creciendo,
por lo que se estima que los datos irán modificándose durante los próximos
meses, siendo muy inestables actualmente.
Con todo, y dada la importancia de esta base de datos tanto para la
realización de estudios métricos como para procesos de evaluación, este
movimiento de Clarivate se estima estratégico y relevante. Habrá que
observar detenidamente los movimientos de sus competidores (Scopus, Dimensions,
Google Scholar), quienes podrían adoptar soluciones similares.
Este
movimiento hacia las citas de contexto abre asimismo una serie de
interrogantes:
- Precisión. Más allá de la mayor o menor cobertura, se abre un interrogante
acerca de la precisión con la que las citas son asignadas a una categoría
concreta. Sin duda, los algoritmos de aprendizaje irán “aprendiendo” y
clasificando mejor, pero siempre existirá un porcentaje de inconsistencias en
la clasificación, que deberá ser calibrado.
- Comprensión. No queda claro si con las definiciones aportadas los usuarios,
aparte de las máquinas, podrán discernir correctamente las diferencias o
matices entre categorías. Por ejemplo, Background y Basis pueden
ser categorías difíciles de diferenciar en la práctica. Differ y Discuss
podrían parecer citas negativas o críticas, pero no lo son necesariamente. Por
cierto, el tono de la cita (positivo, negativo, neutro) no se cubre explícitamente
en ninguna de las categorías existentes.
- Simplificación. El sistema asume que una instancia de cita sólo puede ser
clasificada en una categoría, aunque en ocasiones esto puede ser una
simplificación de la realidad. Posiblemente el uso de facetas podría ayudar a
caracterizar mejor la cita clasificada.
- Representatividad. Aparte de la mayor o menor precisión en las tareas de
clasificación de los algoritmos, otra duda es la relativa al propio sistema clasificatorio
y su representatividad de todas las motivaciones que puedan existir, ¿por qué
esas categorías de citas y no otras? En su ensayo sobre el proceso de la
citación, Cronin (1984) ya recopilaba hace más de 35 años un gran número
de clasificaciones de motivaciones de citas, con mayor o menor grado de solape
entre ellas.
- Estabilidad. De hecho, Clarivate ya modificó las categorías usadas en
sus primeras pruebas (la categoría Compare se dividió en Support
y Differ), y nada impide que pueden volver a cambiar en el futuro.
- Comparabilidad. Las categorías no coinciden además entre las distintas bases de
datos con información contextual, lo que dificulta la comparación de esta
funcionalidad a través de bases de datos, tal y como ya ha comentado recientemente
el conocido bibliotecario y experto Aaron Tay en un hilo en Twitter.[1]
- Idioma. El lenguaje utilizado por los investigadores puede tener una
incidencia significativa a la hora de analizar el contexto de la citación (Yutong
y Bertin, 2022). Los contextos de citas en publicaciones escritas en inglés
podrían tener un tratamiento más preciso que en otros idiomas. Esta
circunstancia podría perjudicar a ciertos agregados (autores, revistas) que
publiquen principalmente en idiomas diferentes al inglés, aunque sean
minoritarios en el universo de WoScc.
- Agregación. No es lo mismo analizar un documento particular que analizar
agregaciones de documentos. Los casos de estudio realizados en esta nota (revista
y autor) suponen agregaciones en las que puede resultar difícil comprender los
resultados obtenidos, pero a la vez pueden ser útiles a la hora de establecer
un perfil de impacto y establecer comparaciones a distintos niveles.
- Usos evaluativos. Una vez la cobertura de citing items se expanda por toda la WoScc, es posible que se comience a
usar estos parámetros con efectos evaluativos y comiencen a plantearse otras
cuestiones, tales como ¿es mejor una cita de Support o Discuss
que una cita de Background?, ¿una cita de Differ es positiva? Es
decir, ¿se considerarán citas de primera y de segunda categoría?
- Efectos en la comunidad. El uso de las citas clasificadas podría traer distintos efectos
en los autores, que podrían modificar su modo de redacción para que la cita sea
considerada de una forma o de otra según el algoritmo (especialmente si algunas
clasificaciones son mejor valoradas). Del mismo modo, surgen dudas con relación
al efecto de la autocitación en los conteos de citas contextuales.
- Extrapolación. Las motivaciones detrás de una cita constituyen un caso
particular de las motivaciones relacionadas con menciones (textuales o no) a
trabajos y autores. Esta línea de trabajo podría por tanto influir igualmente
en estudios relacionados con las motivaciones y significados de una invocación
en la Web (Cronin et al., 1998), que han resultado hasta la fecha
insatisfactorios a la hora de plantear una teoría del análisis de enlaces (Thelwall,
2006).
La evolución de la tecnología y de las bases de datos nos trae un
futuro a medio plazo lleno de indicadores centrados en conectar el acto de la
citación/mención al comportamiento de las personas. De hecho las métricas
alternativas ya supusieron ese salto hacia el comportamiento (sharing, liking,
downloading, etc.), solo que ahora esta conexión mención-comportamiento se
lleva a las citas formales que aparecen en trabajos indexados en bases de datos
selectivas, usadas en procesos evaluativos.
Una mayor variedad de métricas traerá diversidad y eliminará el
carácter determinante de otras métricas, enriqueciendo la observación y el
análisis, permitiendo además averiguar aspectos hasta ahora poco estudiados o
comprendidos dentro del proceso de creación científica. No obstante, esta
variedad traerá por otro lado efectos en el comportamiento de los autores para
adaptarse a las nuevas formas de medición, especialmente si estos indicadores
comienzan a ser utilizados con fines evaluativos. Además, una mayor cantidad de
métricas podría dificultar o ralentizar ciertos procesos y análisis, quizá sin
añadir nueva información de forma significativa.
Todo este movimiento se enmarca en un momento crítico de
posicionamiento ante las métricas de impacto científico, no sólo por parte de
la comunidad científica sino de las organizaciones de investigación y de las Administraciones
públicas. Un momento que se está caracterizando por el fortalecimiento de
posiciones extremas: a favor de la diversidad máxima y uso masivo de
indicadores por un lado; en contra del uso de cualquier métrica, por otro lado.
Este proceso parece coincidir en el tiempo con los avances
tecnológicos en machine learning académico, que podrían producir una
desintermediación de los humanos no sólo en el proceso de clasificar y evaluar
las citas (lo que ya es una realidad) sino en todo el proceso evaluativo, como
muestra el proyecto piloto que se está llevando a cabo en el Reino Unido en el
que se pretende testear la posibilidad de usar algoritmos para evaluar la
calidad de la investigación de cara al próximo ejercicio de evaluación nacional
(Research Excellence Framework), que será llevado a cabo en 2027/2028 Singh
Chawla, 2022). El papel de asistencia o sustitución de estas herramientas
será un tema de amplio debate durante los próximos años.
Mientras la tecnología nos avisa de la llegada de una amplia
batería de indicadores de contexto y comportamiento de nueva generación, la
comunidad sigue sin consensuar una teoría de la citación (si es que existe) y
sin comprender plenamente qué significa el conteo de citas (o menciones de
cualquier tipo). Quizá sean las propias máquinas quienes den respuesta a estas
preguntas. Mientras tanto, parece que los humanos nos hemos conformado con
otorgar a los conteos de citas un valor exclusivamente comercial, basado en
cubrir una necesidad personal creada artificialmente (principalmente, lograr un
puesto de trabajo). Este camino (el del negocio) parece estar avanzando mucho
más rápido que el científico (entender qué es la citación científica).
Agradecimientos
Mis
agradecimientos a Isidro Aguillo y Cristóbal Urbano por sus
comentarios y sugerencias a versiones preliminares de este texto.
Referencias
Bornmann, Lutz; Daniel,
Hans-Dieter (2008). “What do citation counts measure? A review of
studies on citing behavior”. Journal of documentation, v. 64, n. 1,
pp. 45-80.
https://doi.org/10.1108/00220410810844150
Clarivate Analytics (2022a). New WoS February 18 Release Notes. 18
de febrero, https://clarivate.com/webofsciencegroup/release-notes/wos/new-wos-february-18-release-notes/
Clarivate Analytics (2022b). New WOS May 12 Release Notes. 12
de mayo. https://clarivate.com/webofsciencegroup/release-notes/wos/new-wos-may-12-release-notes
Cozzens, Susan E. (1989). “What do citations count? The
rhetorical-first model”. Scientometrics, v. 15, n. 5-6, pp. 437-447.
https://doi.org/10.1007/BF02017064
Cronin, Blaise (1981). “The need for a theory of citing”. Journal
of documentation, v. 37, n. 1, pp. 16-24.
https://doi.org/10.1108/eb026703
Cronin, Blaise (1984). The Citation Process: the role and
significance of citations in scientific communication, London: Taylor
Graham. ISBN: 978 0 947568 01 8
Cronin, Blaise (2006). “Metatheorizing citation”. Scientometrics,
v. 43, n. 1, pp. 45-55. https://doi.org/10.1007/bf02458393
Cronin, Blaise; Snyder, Herbert W.;
Rosenbaum, Howard; Martinson, Anna; Callahan, Ewa (1998). “Invoked
on the Web”. Journal of the American society for information science, v.
49, n. 14, pp. 1319-1328.
https://doi.org/10.1002/(SICI)1097-4571(1998)49:14%3C1319::AID-ASI9%3E3.0.CO;2-W
Garfield, Eugene (1998). “Random thoughts on citationology: Its theory
and practice”. Scientometrics, v. 43, n. 1, pp. 69-76.
https://doi.org/10.1007/BF02458396
Gilbert, G. Nigel (1977). “Referencing
as persuasión”. Social studies of science, v. 7, pp. 113-122.
https://doi.org/10.1177/030631277700700112
Glänzel, Wolfgang; Debackere,
Koenraad; Thijs, Bart; Schubert, András (2006). “A concise
review on the role of author self-citations in information science,
bibliometrics and science policy”. Scientometrics, v. 67 n. 2, pp. 263-277.
https://doi.org/10.1007/s11192-006-0098-9
Latour, Bruno (1987). Science in
action: How to follow scientists and engineers through society. Cambridge,
MA, USA: Harvard University Press. ISBN: ISBN: 978 0 674792913
Leydesdorff, Loet (1998). “Theories of
citation?”. Scientometrics, v. 43, n. 1, pp. 5-25.
https://doi.org/10.1007/bf02458391
Luhmann, Niklas (2012). Theory of society (vol. 1). Stanford,
CA, USA: Stanford University Press. ISBN: 978 0 804739504
Ma, Lai (en prensa).” Information, platformized”. Journal of the Association
for Information Science and Technology.
https://doi.org/10.1002/asi.24713
Merton, Robert K. (1973). The
sociology of science: Theoretical and empirical investigations. Chicago,
IL, USA: University of Chicago press. ISBN: 0 226 52092 7
Moed, Henk F. (2005). Citation analysis in research evaluation.
Berlin: Springer. ISBN: 978 1 4020 3714 6
Singh Chawla, Dalmeet (2022). “Should AI have a role in assessing research
quality?”. Nature News.
https://doi.org/10.1038/d41586-022-03294-3
Small, Henry (1982). “Citation context analysis”. In Dervin B.,
Voigt M. (Eds.). Progress in communication sciences (pp. 287-310).
Norwood, NJ: Ablex. ISBN: 0 89391 060 0
Small, Henry (2004). “On the
shoulders of Robert Merton: Towards a normative theory of citation”. Scientometrics, v.
60, n. 1, pp. 71-79.
https://doi.org/10.1023/b:scie.0000027310.68393.bc
Tahamtan, Imán; Bornmann, Lutz
(2022). “The Social Systems Citation Theory (SSCT): A proposal to use the
social systems theory for conceptualizing publications and their citations
links”. Profesional de la información, v. 31, n.4.
https://doi.org/10.3145/epi.2022.jul.11
Thelwall, Mike (2006). “Interpreting
social science link analysis research: A theoretical framework”. Journal of
the American Society for information science and technology, v. 57, n. 1), pp.
60-68.
https://doi.org/10.1002/asi.20253
van Raan, Anthony F.J. (1998). “In matters of quantitative studies of
science the fault of theorists is offering too little and asking too much”. Scientometrics,
v. 43, n. 1, pp. 129-139.
https://doi.org/10.1007/bf02458401
Wouters, Paul (1999). “Beyond the Holy Grail: From
citation theory to indicator theories”. Scientometrics, v. 44, n.3, pp. 561-580.
https://doi.org/10.1007/bf02458496
Yutong, Fei; Bertin, Marc (2022). “The multilingual aspect
of citation contexts”. In 26th International Conference on Science and
Technology Indicators, pp.1-4.
https://doi.org/10.5281/zenodo.6957504
