Publicado en blog Universo abierto
Liv Langfeldt, Dag W. Aksnes, Ingvild Reymert. Peer review for academic jobs and grants continues to be shaped by metrics, especially if your reviewer is highly ranked. LSE, 16 nov. 2021
El objetivo de la revisión por pares de la investigación y de las juntas de contratación académica es proporcionar un juicio experto e independiente sobre la calidad de las propuestas de investigación y de los candidatos. Según los resultados de una encuesta reciente, Liv Langfeldt, Dag W. Aksnes e Ingvild Reymert, la métrica sigue desempeñando un papel importante en la toma de decisiones, sobre todo en el caso de los revisores que están muy bien clasificados.
Vivimos en una época en la que las métricas sobre las publicaciones científicas y las citas son abundantemente accesibles. Estas métricas ofrecen una visión general y una aportación a la política de investigación, y pueden utilizarse en la evaluación de la investigación por razones buenas -o al menos intrigantes-. En lugar de dedicar tiempo a la lectura de las publicaciones, el recuento de citas, el índice h, el factor de impacto de las revistas o indicadores similares se toman como un atajo para comprender la contribución de un trabajo o el rendimiento de un investigador. Además de ahorrar tiempo, las métricas pueden utilizarse porque se perciben como buenos indicadores de la calidad de la investigación y porque los revisores piensan que las comparaciones basadas en las métricas son más objetivas, justas y fiables que las evaluaciones que no se basan en ninguna métrica. En un estudio reciente se comprobó que las métricas se utilizan con frecuencia a la hora de evaluar las propuestas de subvención y los candidatos a puestos académicos. Además, los investigadores con un historial bibliométrico más sólido aplican con más frecuencia estas medidas en sus evaluaciones de investigación.
La mayoría utilizó métricas en sus revisiones
A pesar de su conveniencia, las métricas son controvertidas. La revisión por pares no está pensada para basarse en las métricas, sino en la experiencia de los pares y su comprensión de la investigación que se está revisando. Para entender mejor el papel de las métricas en las evaluaciones por pares, se utilizaron datos de encuestas para explorar las opiniones y prácticas de los investigadores en todos los campos y contextos académicos en tres países. Tanto para la revisión de las propuestas de subvención como para las evaluaciones de los candidatos a puestos académicos. Una gran mayoría de los revisores indicó que las métricas eran muy o algo importantes a la hora de identificar las mejores propuestas/candidatos. En ambos tipos de evaluaciones, se hizo hincapié en el «impacto de las citas de las publicaciones anteriores» y, sobre todo, en el «número de publicaciones/productividad».
Puntos de vista divergentes
Hubo algunas variaciones entre los tres campos incluidos en el estudio. Los economistas se basaron más en el número de publicaciones que los cardiólogos y los físicos. La variación entre los países (Países Bajos, Noruega y Suecia) fue mínima. Sin embargo, dentro de los tres campos y países hubo variaciones: Mientras que la mayoría consideraba que la métrica era importante, una proporción considerable no la consideraba importante. En otras palabras, hay opiniones divergentes entre los revisores sobre el uso de las métricas, lo que puede afectar a sus revisiones. Cuando actúan como revisores, los académicos tienen mucho poder discrecional y pueden optar por utilizar o no utilizar las métricas, haciendo caso omiso de las directrices (que pueden fomentar o desaconsejar las métricas). Por lo tanto, el resultado de los procesos de revisión puede variar en función de las preferencias individuales de los miembros del panel en cuanto a las métricas.
Los académicos más citados utilizan con más frecuencia la métrica de citas en sus evaluaciones
Resulta significativo que el énfasis en las métricas se corresponda con el propio rendimiento bibliométrico de los encuestados. Los evaluadores con puntuaciones bibliométricas más altas hacían más hincapié en las métricas cuando evaluaban a los candidatos a puestos académicos, y especialmente cuando evaluaban las propuestas de subvención. En el caso de estas últimas, la probabilidad de percibir el número de publicaciones y el impacto de las citas de los candidatos como «muy importantes» aumentó junto con el número de publicaciones de los encuestados, si tenían publicaciones de percentil superior y con la proporción de publicaciones de percentil superior.
¿Se ven afectadas las nociones de calidad de la investigación?
Incluso si las métricas afectan a la revisión por pares, nuestros datos indican que los revisores distinguen entre las características de una buena investigación y la bibliometría como indicadores del posible éxito futuro de un solicitante o una solicitud. Mientras que una gran mayoría señaló que las métricas eran importantes en sus revisiones, sólo una quinta parte indicó que su conclusión se basaba (en parte) en las puntuaciones de las citas o en el factor de impacto de las revistas al responder a la pregunta más general de qué percibían como la mejor investigación en su campo. Muy pocos encuestados indicaron las puntuaciones de las citas o el factor de impacto de las revistas como únicos indicadores de la mejor investigación. Por lo tanto, hay pocos indicios de que consideren los indicadores cuantitativos como un factor decisivo sobre lo que constituye la ciencia eminente.
Impacto en las agendas de investigación
Cuando se aplican a escala del individuo, los indicadores de número de publicaciones e impacto de las citas tienen limitaciones y deficiencias como medidas de rendimiento. No obstante, la encuesta indica un amplio uso de dichos indicadores a esta escala, tanto para la revisión de propuestas de subvención como para la contratación de puestos académicos. El énfasis en las métricas en las evaluaciones de los compañeros puede afectar a la actividad investigadora y a los programas de investigación. Los investigadores -especialmente los que inician su carrera- deben tener en cuenta qué tipo de investigación les ayudará a optar a subvenciones y puestos de trabajo. Si se hace hincapié en el historial cuantificable de los solicitantes en lugar de en el campo de especialización y el potencial de los solicitantes, o en la revisión en profundidad de la investigación propuesta, corremos el riesgo de basar las decisiones sobre la investigación futura en las tendencias pasadas, y los temas fácilmente publicables y muy citados pueden obtener desproporcionadamente más recursos. Además, damos a los jóvenes investigadores incentivos (más fuertes) para hacer el tipo de investigación que parece «segura» en términos de probabilidad de publicaciones y citas, con el fin de aumentar sus posibilidades de éxito en los concursos de subvenciones y puestos académicos.
Organización de evaluaciones justas
¿Qué significa esto para los investigadores que solicitan puestos de trabajo o becas de investigación? A la hora de planificar y utilizar la evaluación por pares, hay que tener en cuenta que los evaluadores -en particular los que obtienen altas puntuaciones- consideran que las métricas son un buen indicador del éxito futuro de los proyectos y los candidatos. Se basan en las métricas de publicación en sus evaluaciones a pesar de las preocupaciones sobre el uso y el mal uso de dichas métricas. En términos más generales, es necesario comprender mejor por qué y cómo se utilizan las métricas en los distintos campos de investigación, y el papel que desempeñan las métricas en el desarrollo de los campos, así como la forma en que el perfil de los paneles de revisión influye en el énfasis en las métricas. A esta escala, la publicación de directrices como el Manifiesto de Leiden para la medición de la investigación y la declaración DORA sobre el uso inadecuado del factor de impacto de las revistas, parecen no haber sido suficientes.
