La evaluación de la investigación debe ir más allá de comparar métricas de impacto

Publicado en blog SciELO en Perspectiva
https://blog.scielo.org/es/2022/08/19/la-evaluacion-de-la-investigacion-debe-ir-mas-alla-de-comparar-metricas-de-impacto/#.YwQXH3FByUk

La evaluación de la investigación debe ir más allá de comparar métricas de impacto

Agosto 19, 2022 

Por Lilian Nassi-Caló

La evaluación de los resultados de la investigación es necesaria para determinar qué es relevante, para sustentar decisiones sobre la promoción de proyectos de investigación y para traducir esta producción científica en programas y políticas públicas para toda la sociedad.

El primer indicador bibliométrico que conocemos es el Factor de Impacto (FI), creado en 1972 por Eugene Garfield para evaluar revistas, con la publicación del Science Citation Index del Institute for Scientific Information. De su función original de evaluar revistas, pronto pasó a ser un índice para evaluar programas de posgrado, jerarquizar instituciones y evaluar investigadores en procesos de contratación, promoción de carrera, premios y cualquier otra forma de medir la producción científica que pudiera beneficiar la evaluación cualitativa o más amplia, muchas veces reducido a una lista de publicaciones asociadas a un FI.

Las limitaciones del FI y su amplio uso por parte de la comunidad científica han sido registradas a través de acciones como la San Francisco Declaration on Research Assessment (DORA). Este documento, resultado de la acción de editores y editores reunidos en 2012 en la Annual Meeting of the American Society of Cell Biology, CA, EEUU, enumera las recomendaciones para que los índices de impacto basados en citas, como el IF, dejen de para ser utilizados en la evaluación de investigadores en situaciones de contratación, promoción o concesión de financiación para proyectos de investigación. Hasta la fecha, más de 22.000 personas de 159 países se han registrado en DORA. Luego, en 2015, el Manifiesto de Leiden, originado en la 19ª Conferencia Internacional sobre Indicadores en Ciencia y Tecnología, en 2014, en Leiden, Países Bajos, guía el uso de métricas de evaluación científica en Europa. Hasta la fecha, el Manifiesto ha sido traducido a 25 idiomas, adoptado por instituciones y reconocido por editoriales de todo el mundo.

Al conocer iniciativas como DORA y el Manifiesto de Leiden, el lector podría inferir que las instituciones de investigación, al contratar y evaluar investigadores y las agencias de financiación, al otorgar financiamiento a proyectos, deben ser conscientes de la limitación de las métricas de impacto más utilizadas. también realizan evaluaciones cualitativas y consideran actividades académicas de diversa índole, además de la publicación de artículos, en sus procesos de evaluación, como revisión por pares, orientación al estudiante y publicación de datos de investigación, por ejemplo. Desafortunadamente, la mayoría de las veces, el conocimiento está disociado de la práctica.

Tal y como informa Cameron Neylon1 en su artículo publicado recientemente en Nature,2 los investigadores, especialmente aquellos que se encuentran al inicio de sus carreras y que no cuentan con una producción académica extensa, se encuentran particularmente en desventaja a la hora de contratar oportunidades y obtener financiación para la investigación. Estas decisiones, según Neylon, se basan en pruebas cuestionables que, si fueran datos de investigación, no pasarían por el proceso de revisión por pares.

Por ejemplo, Neylon y su colega Karl Huang3 investigaron los datos que informan las clasificaciones universitarias internacionales. Cada ranking utiliza una determinada base de datos para contabilizar las citas de la producción científica de las instituciones evaluadas, como Web of Science, Scopus o Microsoft Academic. Los autores crearon una clasificación basada en citas de 155 universidades y compararon citas de las tres bases de datos. Los resultados obtenidos muestran que tres universidades cambiaron 110 posiciones, y 45 instituciones cambiaron más de 20 posiciones, cuando se cambió la fuente de datos.

La sorpresa no es que diferentes bases de datos y criterios para cada ranking proporcionen resultados diferentes, sino que la comunidad científica continúa ignorando estas discrepancias y tomando decisiones sobre contratación, financiación de la investigación y políticas públicas basadas en métricas que saben que son defectuosas.

Muchos investigadores, especialmente los más jóvenes, están convencidos de que la metodología de evaluación de la investigación debe cambiar para no tener que elegir entre construir una carrera enfocada en publicaciones y citas o contribuir a la ciencia de la mejor manera posible sin preocuparse demasiado por el impacto. métrica.

Este escenario, sin embargo, puede estar cambiando. En enero de este año se empezó a redactar un documento denominado Agreement on Reforming Research Assessment4 y acaba de ser publicado por iniciativa de la European Research Area (ERA), la European University Association (EUA), Science Europe, y la Comisión Europea. El acuerdo cuenta con el apoyo de 350 organizaciones públicas y privadas entre agencias de financiación, universidades, centros de investigación, institutos e infraestructuras, asociaciones y sociedades científicas y asociaciones de investigadores, entre otros, de más de 40 países. Los signatarios del acuerdo se comprometerán a una visión compartida de que la evaluación de la investigación, los investigadores y las organizaciones de investigación reconocen los diversos resultados, prácticas y actividades que maximizan la calidad y el impacto de la investigación. Esto requiere basar la evaluación principalmente en el juicio cualitativo, para lo cual la revisión por pares es central, respaldada por el uso responsable de indicadores cuantitativos. Un video5 puesto a disposición por ERA detalla las razones y el proceso de reformar la evaluación de la investigación con opiniones de investigadores entrevistados.

Para que esta nueva cultura de evaluación de la investigación surta efecto, es imperativo que toda la comunidad científica experimente un cambio cultural sobre la evidencia que se utiliza para evaluar los resultados de la investigación. No solo se debe tener en cuenta el resultado, el artículo científico publicado, sino cada paso del proceso para llegar a este artículo, incluida la orientación y capacitación de estudiantes graduados y posdoctorales, actividad de revisión por pares, preparación y publicación de conjuntos de datos, etc. . Asimismo, la calidad de la evidencia presentada en las propuestas de financiación de la investigación y contratación de jóvenes investigadores debe ser evaluada críticamente, considerando también criterios cualitativos, para que los investigadores al inicio de su carrera tengan la oportunidad de ver contemplados sus proyectos.

Este año, la San Francisco Declaration on Research Assessment celebra su décimo aniversario. Tomó una década y un nuevo acuerdo para cimentar lo que DORA y sus seguidores ya estaban defendiendo en 2012, y el Manifiesto de Leiden lo confirmó en 2015.

Notas

1. Cameron Neylon es codirector de Curtin Open Knowledge Initiative, que desarrolla y aboga por el suministro de datos y análisis controlados por la comunidad para respaldar la evaluación de la investigación y la formulación de políticas y estrategias.

2. NEYLON, C. Stop misusing data when hiring academics [online]. Nature. 2022 [viewed 19 august 2022]. https://doi.org/10.1038/d41586-022-02038-7. Available from: https://www.nature.com/articles/d41586-022-02038-7

3. Karl Huang es investigador en el campo del conocimiento abierto en la Universidad de Curtin en Perth, Australia.

4. Agreement on reforming research assessment [online]. European University Association. 2022 [viewed 19 august 2022]. Available from: https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf

5. ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI

Referencias

Agreement on reforming research assessment [online]. European University Association. 2022 [viewed 19 august 2022]. Available from: https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf

ERA talk – Reforming Research Assessment. EU Science & Innovation on YouTube. 2022 [viewed 19 august 2022]. Available from: https://youtu.be/AsmYr1lEPrI

GARFIELD, E. Citation analysis as a tool in journal evaluation. Science [online]. 1972, vol. 178, no. 4060, pp. 471-479 [viewed 19 august 2022]. https://doi.org/10.1126/science.178.4060.471. Available from: https://www.science.org/doi/10.1126/science.178.4060.471

HUANG, C-K, et al. Comparison of bibliographic data sources: Implications for the robustness of university rankings. Quantitative Science Studies [online]. 2020, vol. 1, no. 2, pp. 445–478 [viewed 19 august 2022]. https://doi.org/10.1162/qss_a_00031. Available from: https://direct.mit.edu/qss/article/1/2/445/96150/Comparison-of-bibliographic-data-sources

NEYLON, C. Stop misusing data when hiring academics [online]. Nature. 2022 [viewed 19 august 2022]. https://doi.org/10.1038/d41586-022-02038-7. Available from: https://www.nature.com/articles/d41586-022-02038-7

Enlaces externos

European Comission: https://ec.europa.eu/info/index_en

European research area (ERA): https://research-and-innovation.ec.europa.eu/strategy/strategy-2020-2024/our-digital-future/european-research-area_en

European Univeristy Association (EUA): https://eua.eu/

Leiden Manifesto for Research Metrics: http://www.leidenmanifesto.org/

Science Europe: https://scienceeurope.org/

The San Francisco Declaration on Research Assessment – DORA: https://sfdora.org/

 

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQ-USP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

 

DORA en España o el retroceso de los indicadores bibliométricos

Publicado en Biblioteca de la Universidad Complutense
https://biblioguias.ucm.es/blog/DORA-en-Espana-o-el-retroceso-de-los-indicadores-bibliometricos?fbclid=IwAR3I9S0gDiTzn7kA0kJ_Kmv9XPaVc9oQ5pvepovCNjGMUH9pEhA6Uzrnu08

DORA en España o el retroceso de los indicadores bibliométricos

por BUC Equipo de Comunicación y Marketing el May 26th, 2022 bajo el tema de Biblioteca Complutense, Multidisciplinar, Biblioteconomía

Desde que se publicara el primer Journal Citation Reports en 1963 su uso se extendió rápidamente por constituir un sistema objetivo, comprensible y fácil de utilizar para evaluar la productividad de un investigador, grupo, institución o región geográfica. 

La idea que subyace al Factor de Impacto es que las publicaciones de mayor influencia en un área científica son citadas con mayor frecuencia en las revistas más reputadas de dicha área. A pesar de que esto último es verdad hasta cierto punto, la evaluación basada en criterios exclusivamente cuantitativos y en un instrumento comercial como JCR adolece de numerosos defectos bien conocidos: reflejan las citas agregadas a la revista (journal level metrics), no al artículo propiamente dicho (article level metrics); prevalecen las citas en el club vip de revistas anglosajonas de ámbito internacional obviando los estudios locales en lengua no inglesa; se adapta mal a las humanidades, artes y ciencias sociales; se calcula en base a un patrón de citas de dos años, lo que representa mal la influencia en el tiempo de disciplinas de evolución más reposada; solo abarca el impacto de artículos y libros (cuando la ciencia se comunica de muchas más maneras); las citas son manipulables; y, sobre todo, deja fuera la necesaria evaluación cualitativa de los resultados de investigación. 

En vista de los abusos en el uso del Factor de impacto para la evaluación de la actividad investigadora, un grupo de editores de revistas académicas se reunió durante la Reunión anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. Este grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación, más conocida como DORA. Dichas recomendaciones se resumen en dos puntos:

1. El rechazo a utilizar indicadores bibliométricos como el Factor de impacto.
2. La adopción de prácticas de evaluación cualitativa. 

En el momento de redactar esta nota hay más de dos mil firmantes entre instituciones, editores e investigadores, 155 en España. La corriente es imparable y ya se lleva a la práctica en España en el modelo de CVA de 2021 y en los criterios  de los expertos de la Agencia Estatal de Investigación para valorar los CV en los proyectos del Plan Estatal de Investigación PID 2021.

CVA 2021
Las siglas CVA corresponden a Curriculum Vitae Abreviado. Esta plantilla normalizada puede obtenerse a través del Editor de FECYT. 

La novedad es que en el CVA de 2021 no hay ningún campo en el que consignar indicadores bibliométricos, a diferencia del modelo de 2017 que sí contaba con un apartado explícito para artículos JCR e índice h: 

CVA de 2017 con mención expresa a los índices bibliométricos clásicos

CVA de 2021 sin mención alguna a indicadores bibliométricos

Las instrucciones de la Agencia Estatal de Investigación (encargada de gestionar la financiación de los proyectos del Plan Estatal), establecen de forma explícita que: 

• Se ha modificado el contenido del apartado B de Resumen del CV para progresar en la adecuación a los principios DORA.
• Como consecuencia de este principio, desaparecen las referencias a las bases de datos de Web of Science y Scopus en el apartado A del CVA.

Fuente: Agencia Estatal de Investigación

 

Aviso presente en las instrucciones para generar el CVA desde el editor CVN de la Fecyt

En su lugar, se pide una descripción de: Sus aportaciones científicas, explicando su relevancia y su contribución a la generación del conocimiento, la generación de ideas, hipótesis y resultados y cómo los ha comunicado, la financiación obtenida, las capacidades científico técnicas adquiridas, las responsabilidades científicas ejercidas, las colaboraciones internacionales y el liderazgo. 

Y en el apartado Listado de aportaciones más relevantes, se pide consignar las Publicaciones más importantes en libros y revistas con “peer review” y en conferencias, así como las contribuciones destacadas en congresos (sin mencionar índices bibliométricos).

Criterios de valoración de los CV en el Plan Estatal 
El documento que los evaluadores de la Agencia Estatal de Investigación deben cumplimentar para evaluar las solicitudes de proyectos del Plan Estatal indica explícitamente que No se utilizarán indicadores bibliométricos. 

Informe de evaluación de experto para los proyectos Agencia Estatal de Investigación de 2021

En el mismo informe, además, se señalan otros aspectos cualitativos a evaluar, como son:

○    1.1 Calidad [...] En el caso de que el equipo de investigación tenga proyectos en curso o anteriores financiados por los Planes Estatales, ¿Cuál ha sido la calidad e impacto de los resultados obtenidos en los mismos?
○    3.2 Impacto social y económico de los resultados. ¿Existe un plan de difusión/divulgación de los resultados a la sociedad y para el acceso abierto a resultados y datos del proyecto?

Sexenios de investigación
La última convocatoria aún se centra bastante en el JCR, pero se abre tímidamente a considerar otros indicadores diferentes del factor de impacto de las revistas. Aunque asume la validez de los indicadores bibliométricos clásicos y la inclusión de la contribución en revistas indexadas en repertorios de calidad, La Resolución deja abierta la posibilidad de que las/los autoras/es comuniquen a la CNEAI las citas y reconocimientos independientes que hayan tenido hasta ese momento las publicaciones que refrendan la actividad investigadora realizada.  [Preámbulo Resolución de 23 de diciembre de 2021 de la Comisión Nacional de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación, publicado en el BOE de 1 de enero de 2022]  

¿Cómo nos afecta a los bibliotecarios?

En la medida en que el sistema de citas pierda importancia en los procesos de evaluación en favor de la evaluación cualitativa de expertos y del impacto social de la investigación, podemos seguir orientando y asesorando a nuestro PDI en las siguientes tareas:

1.    Elaboración de planes de difusión de resultados.
2.    Difusión de sus contenidos en nuestros medios sociales.
3.    Seguimiento del impacto en la red mediante las altmétricas.

Proyectos como los financiados por la UE exigen la presentación de una estrategia de difusión de resultados en medios sociales. Los bibliotecarios podemos ayudar en la elección de las plataformas más apropiadas, en la asignación de etiquetas, en la forma apropiada de citar contenidos en línea para que contabilicen, en las estadísticas de cada medio, etc. 
 

Ejemplo de cita altmétrica incorrecta frente a cita correcta.
Fuente: Torres Salinas, Daniel (2020). Evaluación de la ciencia con indicadores altmétricos-altmetrics: cuestiones teóricas y metodológicas.  

Asimismo, las bibliotecas tenemos canales propios desde los que maximizar la difusión de los contenidos elaborados por el PDI y podemos ayudarles a hacer mailing a potenciales interesados en su trabajo. 

Por último, podemos prestar asesoramiento a solicitantes y evaluadores sobre el impacto de su trabajo en medios sociales a partir del seguimiento de indicadores altmétricos, es decir, las veces que se repostea/menciona/marca como me gusta/guarda/comenta en blogs, redes sociales, prensa digital, etc. Por ejemplo, nuestro repositorio de acceso abierto E-Prints Complutense incorpora esa información en los ítems depositados, lo que también supone una oportunidad para incrementar el número de publicaciones en abierto de nuestro PDI en la medida en que esta información sea relevante para los procesos de evaluación.
 

Ana Cabeza Llorca