UK: críticas al nuevo modelo de evaluación británico

Publicado en Nature
https://www.nature.com/articles/d41586-023-02469-w 

Se reforma la evaluación de la investigación en el Reino Unido, pero los cambios no dan en el clavo

El paso del rendimiento individual al institucional en el próximo ejercicio del Marco de Excelencia en Investigación es bienvenido, pero ignora las realidades del mundo académico.

Richard Watermeyer, Gemma Derrick y Kate Sang

El 15 de junio se propusieron normas actualizadas para la próxima ronda del Marco de Excelencia en Investigación (REF), el sistema de evaluación utilizado para distribuir entre las universidades británicas unos 2.000 millones de libras (2.500 millones de dólares) de financiación anual. Las cuatro agencias de financiación de la enseñanza superior del Reino Unido las dieron a conocer.

A primera vista, los cambios previstos parecían reconocer mejor los resultados de la investigación que no se limitan a los convencionales, como publicaciones y libros.

Pero una lectura más atenta revela que no está tan en sintonía con las realidades de la investigación académica. Como investigadores en educación que, durante años, hemos seguido y escrito sobre las deficiencias del REF (written about the REF’s shortcomings), pensamos que los responsables políticos están siendo ingenuos tanto ante las realidades de la cultura investigadora del Reino Unido como ante el riesgo de causar más problemas de los que resuelven.

Las normas propuestas para el próximo REF, que concluirá en 2028, se basan en las conclusiones del Future Research Assessment Programme (FRAP), un programa de investigación y evaluación de los organismos de financiación del Reino Unido. El FRAP incluye un informe elaborado por un grupo de asesores internacionales, presidido por el ex asesor científico jefe de Nueva Zelanda, Peter Gluckman.

Las 13 recomendaciones de los asesores siguen considerando el REF como un instrumento fundamental para determinar la financiación de la investigación universitaria, pero reconocen que puede deformar la cultura de la investigación a través de incentivos perversos, como una excesiva dependencia de las métricas de publicación para evaluar la valía de un investigador.

Su informe proponía aumentar la contribución a la puntuación global del REF de las métricas que reconocen lo bien que una institución apoya la investigación, y reducir la ponderación de los resultados de la investigación convencional. Las recomendaciones fueron aprobadas por los organismos de financiación el 15 de junio.

Sin embargo, creemos que las recomendaciones y los cambios propuestos son erróneos. Lejos de conducir a un sistema más holístico y equitativo de evaluación de la investigación, estas orientaciones podrían dar lugar a una mayor degradación de la cultura de la investigación en las instituciones de enseñanza superior del Reino Unido.

Reglas de la REF

Las normas propuestas consideran cómo los intentos de las universidades de explotar las normas de la REF en su propio beneficio pueden ser perjudiciales para las condiciones de trabajo de los individuos, y los asesores piden "desplazar la carga de un enfoque centrado en el individuo a la institución".

Esta forma de pensar es encomiable. En la práctica, sin embargo, es imposible obviar la contribución individual a la investigación durante los preparativos de una universidad para el REF. Las universidades están formadas por individuos, y la investigación se motiva y evalúa sobre todo de forma individual.

Las orientaciones también recomiendan que el REF sea más inclusivo, haciendo que las contribuciones de todos los investigadores puedan ser evaluadas. El objetivo es eliminar los efectos perjudiciales para los investigadores que no son seleccionados para la presentación, un problema importante del primer ejercicio de la REF en 2014. La presentación universal se introdujo en la REF 2021, pero en la REF 2028 no habrá un número máximo o mínimo de resultados de investigación asignados a un investigador individual, siempre que se alcance un promedio en un área temática.

El problema es que las universidades probablemente volverán a ser hiperselectivas, centrándose en los miembros del personal que producen la investigación más "apta para el REF", marginando así a los demás. Además, el alejamiento de los investigadores individuales podría significar que circunstancias especiales -como la baja por paternidad- no se tuvieran en cuenta en una evaluación. A diferencia de los anteriores REF, en los que los académicos podían revelar a sus empleadores experiencias vitales y laborales a menudo complejas y angustiosas, así como discapacidades.

Defectos intrínsecos

La apuesta por romper el vínculo entre individuos e instituciones también presupone erróneamente que la cultura investigadora se limita a las instituciones individuales. La insistencia de los asesores internacionales en la "ciencia de equipo" como base de muchas de sus recomendaciones se ve contrarrestada por el hecho de que el REF se centra únicamente en la investigación británica.

A muchos académicos también les preocupará la menor contribución de sus resultados de investigación a la puntuación global del REF, que pasará del 60% en el REF 2021 al 50% en el próximo REF de 2028. Esto desatiende el estatus de las publicaciones académicas, correcto o incorrectamente, como la principal moneda en la economía del prestigio académico, y pone en riesgo el estatus global y la movilidad de los académicos del Reino Unido si se desincentiva su enfoque en los resultados.

Por último, la recomendación de los asesores de que no se haga "excesivo hincapié" en el REF a la hora de evaluar al personal o de comparar los resultados con los de otras instituciones ignora por completo el uso inevitable del REF como herramienta de gestión y clasificación. El sector británico de la enseñanza superior, como cualquier otro, está sometido a las clasificaciones. El REF sirve indiscutiblemente a esa fijación, desde luego a nivel nacional. Cualquier vistazo a las páginas web de las universidades británicas revela hasta qué punto la REF forma parte integrante del modo en que las universidades promocionan la calidad de su investigación. Además, la idoneidad de la investigación para la REF está profundamente arraigada en la psique de los académicos británicos y en cómo valoran su trabajo y el de los demás. Se necesitan aportaciones de iniciativas de base para romper esta cultura, no sólo mediante la imposición de normas de arriba abajo.

Fundamentalmente, las normas de la REF son elaboradas por personas cada vez más alejadas de las condiciones de trabajo que experimenta el investigador medio. Por lo tanto, los esfuerzos para limitar los efectos nocivos de la REF en los individuos sólo sirven para aumentar su exposición a la precariedad laboral y la degradación de la cultura de la investigación. Hasta que las voces de la mayoría de los académicos no sean escuchadas y atendidas, la modernización del REF no será más una reforma cultural que un retroceso. Hasta entonces, este no es nuestro REF: es (todavía) el suyo.

*************************************

• 31 July 2023

UK research assessment is being reformed — but the changes miss the mark

A shift from individual to institutional performance in the next Research Excellence Framework exercise is welcome, but ignores the realities of academia.

Richard Watermeyer, Gemma Derrick & Kate Sang

On 15 June, updated rules were proposed for the next round of the Research Excellence Framework (REF), the assessment system used to distribute around £2 billion (US$2.5 billion) of annual funding across UK universities. These were unveiled by the United Kingdom’s four higher-education funding agencies.

At first sight, the planned changes seemed to better recognize research outputs that are not just limited to conventional ones such as publications and books.

But a closer reading reveals that it is not quite so attuned to the realities of academic research. As education researchers who, for years, have followed and written about the REF’s shortcomings, we think that policymakers are being naive both to the realities of UK research culture and to the risk of causing more problems than they solve.

The proposed rules for the next REF, set to conclude in 2028, are built on the findings of the Future Research Assessment Programme (FRAP), a programme of research and evaluation from UK funding bodies. FRAP includes a report by a group of international advisers, chaired by New Zealand’s former chief scientific adviser Peter Gluckman. 

The advisers’ 13 recommendations still regard the REF as a core way of determining university research funding, but acknowledge that it can warp research culture through perverse incentives such as an over-reliance on publication metrics to assess a researcher’s worth.

Their report proposed an increase in the contribution to the overall REF score of metrics that recognize how well an institution supports research, and a drop in the weighting of conventional research outputs. The recommendations were adopted by the funding bodies on 15 June.

However, we argue that the recommendations and proposed changes repeatedly miss the mark. Far from leading towards a more holistic and equitable system of research assessment, this guidance might result in the further degradation of research culture in UK higher-education institutions. 

‘REF-ability’ rules

The proposed rules consider how universities’ attempts to exploit REF rules for their own advantage can be detrimental to the working conditions of individuals, with the advisers calling for “shifting the burden away from a focus on the individual to the institution”.

Such thinking is commendable. In practice, however, it is impossible to avoid an individual’s research contribution during a university’s preparations for the REF. Universities are made up of individuals, and research is mostly individually motivated and assessed.  

The guidance also recommends making the REF more inclusive by making contributions from all researchers eligible for assessment. The aim here is to remove the detrimental effects for researchers who are not selected for submission — a major problem of the first REF exercise in 2014. Universal submission was introduced in REF 2021, but in REF 2028 there will be no maximum or minimum number of research outputs attached to any individual researcher, provided an average is met across a subject area.

The problem is that universities will still probably return to being hyper-selective, focusing on members of staff who produce the most ‘REF-able’ research, thereby marginalizing others. Moreover, the shift away from individual researchers could mean that special circumstances — such as parental leave — might not be considered in an assessment. This is unlike previous REFs, in which academics could disclose often complex and distressing life and work experiences, as well as disabilities, to their employers. 

Inherently flawed

A bid to break the link between individuals and institutions also wrongly assumes that research culture is limited to single institutions. The international advisers’ emphasis on ‘team science’ as the basis for many of their recommendations is counteracted by the fact that the REF focuses only on UK research.

Many academics will also be concerned by the lower contribution of their research outputs towards an overall REF score, which will drop from 60% in REF 2021 to 50% for the next REF in 2028. This neglects the status of scholarly publications, rightly or wrongly, as the main currency in academia’s prestige economy, and risks the global status and mobility of UK academics if their focus on outputs is disincentivized. 

Finally, the advisers’ recommendation that the REF should not be given “excessive emphasis” in evaluating staff or benchmarking performance against other institutions completely ignores the REF’s inevitable use as a management and ranking tool. The UK higher-education sector, much like every other, is in thrall to rankings. The REF indisputably serves such a fixation, certainly at a national level. Any look at UK university websites reveals how integral the REF is in the way in which universities promote the quality of their research. Moreover, the REF-ability of research is deeply ingrained in the psyche of UK academics and how they value their, and others’, work. Input from grass-roots initiatives are needed to break this culture, not just through imposing top-down rules.

Fundamentally, the REF’s rules are made by people who are increasingly distanced from the working conditions experienced by the average researcher. Thus, efforts to limit the harmful effects of the REF on individuals serve only to further their exposure to occupational precarity and the degradation of research culture. Until the voices of the majority of academics are heard and responded to, modernizing the REF will be no more cultural reform than retrogression. Until then, this is not our REF: it is (still) theirs.

doi: https://doi.org/10.1038/d41586-023-02469-w