Negacionismo bibliométrico
Daniel Torres-Salinas
https://orcid.org/0000-0001-8790-3314
Universidad de Granada
torressalinas@go.ugr.es
En las conversaciones informales que suelo mantener con nuestros colegas,
hace ya tiempo que vengo hablando de un nuevo negacionismo que, si bien
ha existido siempre, ahora se ha acentuado. Nos referimos al
negacionismo bibliométrico, una nueva corriente que podemos sumar a la
del cambio climático, la del covid, las vacunas o las corrientes terraplanistas.
Como es sabido, el "denialism", en su terminología anglosajona, se basa en
la negación intencionada de un corpus de evidencias empíricas (Hansson, 2017).
Las características del negacionismo están bien establecidas y, entre otras,
se señala un rechazo dogmático hacia los resultados científicos, la selección
a conveniencia de datos y, sobre todo, la formación de expectativas imposibles sobre lo que la ciencia realmente puede proporcionar (Lucena, 2022).
En la actualidad, existen diversas opiniones que presentan algunos de estos
rasgos ya que niegan con rotundidad la utilidad de los indicadores bibliométricos,
desaconsejando sin ambages su uso en los procesos de evaluación científica.
Las pruebas sobre la existencia de un negacionismo métrico, hablando
solo del caso español, son indiscutibles y afectan a gran parte de las convocatorias.
Pero pongamos un par de ejemplos ilustrativos. En la última convocatoria para
la evaluación de proyectos de generación de conocimiento 2022, en
las instrucciones que recibimos los evaluadores por correo electrónico,
nos indicaron que "debe tenerse en cuenta en el proceso de evaluación que
la AEI ha firmado la Declaración DORA por la que se compromete a que
las evaluaciones se realicen de manera cualitativa, sin utilizar índices bibliométricos
como parámetros principales para la evaluación". Otro caso análogo se
encuentra en la elaboración del Curriculum Vitae Abreviado (CVA).
Hasta la convocatoria de 2020, se mantenía en el CVA un apartado de
"Indicadores generales de calidad de la producción científica" donde se
podían incluir, por ejemplo, el número de tramos de investigación y,
por supuesto, aquellos indicadores bibliométricos (citas, índice H, etc.)
que el investigador considerase pertinentes, siempre que se indicara
la base de datos de origen (1). Sin embargo, esto se eliminó en el año 2021
y se prohibieron esas menciones a indicadores y fuentes. En la zona del
resumen del CV, nos daban la razón de esta eliminación:
"se ha modificado el contenido de este apartado para progresar en la
adecuación a los principios DORA" (2).
Está claro que la decisión de prescindir de las métricas no ha sido
repentina y responde a la asimilación de los enunciados de DORA recogidos
en la Declaración de San Francisco (3). Muchas instituciones españolas,
por cierto, suscriben la declaración para después no hacerle de caso:
si hay que firmar se firma. Creemos que en la aplicación española de la
doctrina dórica se ha tomado la parte por el todo. Nos referimos a que
DORA se centra en un ataque frontal y justificado contra el Factor de Impacto
y el uso de indicadores de revistas aplicados a evaluar trabajos y científicos.
A pesar de esto, en la Declaración no se indica inequívocamente que
no se deban emplear otros indicadores como el índice H, las métricas sociales
o las métricas a nivel de artículo. Da la impresión de que la crítica al Factor de
Impacto se ha extendido al resto de métricas, poniendo en tela de juicio
gran parte de los indicadores y técnicas bibliométricas.
Esto representa una interpretación exigente y maximalista de
la ideología evaluativa de DORA que ha tenido su continuidad en el
"Agreement on Reforming Research Assessment" promovido por COARA (4),
al que hace unos días ANECA anunció su adscripción (5)
Tanto COARA como DORA se basan en principios innegables para
cualquier profesional de la bibliometría, como, por ejemplo,
no considerar únicamente las publicaciones en revistas, evaluar
el impacto social o promover un sistema más inclusivo. Sin embargo,
también se sustentan en un rechazo de las métricas y en una negación
de su utilidad, ya que el nuevo sistema apuesta decididamente y
de forma unilateral por la revisión por pares. En este sentido, ANECA
es clara y precisa en la nota mencionada, comprometiéndose
a avanzar hacia modelos de evaluación cualitativos basados
en la revisión por pares, lo que es una transcripción literal de lo que aparece
en el Agreement: “Assessment should rely on qualitative judgement”.
En ningún lugar del documento de COARA se mencionan explícitamente
las palabras bibliometría, informetría o cienciometría.
Quizás las han borrado por entender que "indicadores cuantitativos"
es una denominación menos ofensiva y parecen plantear su uso en casos extremos,
de manera responsable y tomando múltiples precauciones. Es preferible
que los evaluadores trabajen a ciegas, sin datos, antes que manchar sus juicios
con indicadores viles.
Dos cosas me sorprenden de esto. Por un lado, debería ser molesto
para los bibliométras no llamar a las cosas por su nombre. Sorprende demasiado
no solo la negación, sino también la apropiación y ausencia de reconocimiento
de los métodos de la Bibliometría Evaluativa (BE), que ya he explicado
en otro Thinkepi (Torres-Salinas, 2022). En resumen, en BE,
los indicadores se proponen como una herramienta de apoyo en
los procesos de revisión por pares en lugar de como un sustituto
de dichos procesos, tal como se señala en esta cita:
“los indicadores informétricos son una herramienta de apoyo en los procesos de revisión por pares, en lugar de como un sustituto de dichos procesos”
(Moed, 2007). ¿No les parece similar? Es evidente que COARA
toma demasiadas ideas de la Bibliometría/Informetría Evaluativa sin mencionarla
en ningún momento, como si ya no fuera bienvenida, como si fuera víctima
de una nueva cultura de cancelación métrica. Había dicho que había dos cosas
que me sorprendían, y la segunda es la idealización del
Peer Review por parte de COARA. Cabe preguntarse si están bien informados
en la coalición de expertos sobre las limitaciones del Peer Review y
si han leído la cantidad de evidencias científicas que muestran los problemas
que conlleva la evaluación por expertos. ¿O también van a negarlos?
Al igual que se apuntan a los límites de la Bibliometría, habría que
señalar también los límites del Peer Review. Dejando de lado los
posibles problemas de subjetividad, discrepancia en las evaluaciones,
imparcialidad, etc., lo que me preocupa es si se han pensado en las
implicaciones más prácticas que conlleva la aplicación sistemática del
Peer Review, como, por ejemplo, el costo del sistema,
el crecimiento de la burocracia, la problemática en la resolución d
e arbitrariedades, la falta manifiesta de expertos en algunos temas y la ausencia,
de momento, de soluciones evaluativas tangibles y universales a corto plazo.
En la era del Big Data y las decisiones informadas por datos, parece
que se promueve en nuestro sector lo contrario y, justamente,
cuando más métodos e indicadores bibliométricos tenemos
a nuestra disposición. Cuando más consciencia tenemos
de atender a las singularidades y al impacto social de la investigación,
más parece que nos agazapamos en la trinchera unilateral de los expertos.
En definitiva, no había necesidad de negar el corpus científico de la
Bibliometría Evaluativa. Si se hubiera pensado entre todos, seguro que
se podría haber encontrado una forma inteligente de combinar los indicadores
y el Peer Review.
Referencias
Hansson, S. O. (2017). Science denial as a form of pseudoscience. Studies in History and Philosophy of Science Part A, 63, 39-47. https://doi.org/10.1016/j.shpsa.2017.05.002
Lucena, A. D. (2022, enero 20). Negacionismo, anticiencia y pseudociencias: ¿en qué se diferencian? The Conversation. http://theconversation.com/negacionismo-anticiencia-y-pseudociencias-en-que-se-diferencian-174831
Moed, H. F. (2007). The future of research evaluation rests with an intelligent combination of advanced metrics and transparent peer review. Science and Public Policy, 34(8), 575-583. https://doi.org/10.3152/030234207X255179
Torres-Salinas, D. (2022). 1985: Cinco lecciones inmortales de Moed para bibliómetras profesionales. Anuario ThinkEPI, 16(1), 3.
Notas
(1) https://www.aei.gob.es/convocatorias/buscador-convocatorias/proyectos-idi-2020-modalidades-retos-investigacion-2
(2) https://www.aei.gob.es/convocatorias/buscador-convocatorias/proyectos-generacion-conocimiento-2021/convocatoria
(3) https://sfdora.org/read/read-the-declaration-espanol/
(4) https://coara.eu/agreement/the-agreement-full-text/
(5) https://www.aneca.es/web/guest/-/aneca-se-adhiere-a-la-san-francisco-declaration-on-research-assessment-dora-y-a-la-coalition-for-advancing-research-assessment-coara-
