REINO UNIDO: dificultades para basarse en nuevos indicadores y métricas no tradicionales

Publicado en THE Times Higher Education
https://www.timeshighereducation.com/news/inconsistency-fears-after-ref-retreat-environment-metrics

Temor a la «inconsistencia» tras el retroceso del REF en materia de métricas medioambientales

Según los expertos, se necesita una orientación clara sobre cómo se calificarán las presentaciones basadas en narrativas para evitar acusaciones de que los juicios son excesivamente subjetivos.  

Publicado el 5 de enero de 2026.

Jack Grove.

Twitter: @jgro_the

El uso limitado de métricas en la sección medioambiental renovada del Marco de Excelencia Investigadora (REF) del Reino Unido ha suscitado inquietudes sobre cómo se evaluará de manera coherente.

Se teme que la sección recientemente renombrada como «estrategia, personas y entorno de investigación» (SPRE) sufra las mismas críticas que su predecesora, «personas, cultura y entorno» (PCE), que algunos consideraban poco sólida, dado que las instituciones eran calificadas en función de extensas presentaciones narrativas. 

Se esperaba que un programa piloto que examinara posibles «indicadores» en áreas como la formación del personal, el acceso abierto y la diversidad pudiera generar métricas que permitieran una evaluación simplificada y objetiva.

Sin embargo, un informe sobre el programa piloto publicado el mes pasado reveló que la recopilación de datos resultó difícil para los participantes. Algunos datos, como los recopilados para el Marco de Intercambio de Conocimientos exclusivo de Inglaterra, no estaban disponibles para todas las instituciones, mientras que la recopilación de datos para otras métricas habría supuesto una «carga significativa» para las instituciones y sería «imposible de recopilar de forma retrospectiva», según se constató.

Además, la población relevante para muchos de los indicadores de investigación era «poco clara» y «podría no ser adecuada para todas las disciplinas», lo que significa que «no se podían aplicar de manera uniforme en todo el ejercicio».

El informe, que recomendaba un «marco mucho más estricto para un ejercicio REF a gran escala», solo proponía un puñado de métricas para la sección PCE sobre las que existía un «acuerdo razonable» entre los miembros del panel que evaluaron las propuestas del programa piloto. Entre ellas se incluyen: datos longitudinales sobre el personal investigador basados en el sexo, el origen étnico y la discapacidad; diferencias salariales para cada una de estas características protegidas; cifras de investigadores noveles recién contratados, personal de apoyo técnico y personal con contratos de duración determinada.  

El informe añade que también se podrían incluir datos sobre el número de veces que se accede a los conjuntos de datos compartidos o la proporción de resultados de investigación publicados en acceso abierto.

Si se vuelve a pedir a los paneles del REF que examinen declaraciones narrativas respaldadas solo por unos pocos datos, habrá que reflexionar más sobre cómo evitar la acusación de que las evaluaciones puedan considerarse «demasiado subjetivas», afirma Simon Green, vicerrector (investigación e intercambio de conocimientos) de la Universidad de Salford y miembro del panel para el proyecto piloto destinado a examinar los indicadores a nivel institucional.

«La coherencia en la evaluación es fundamental. Con algo tan amplio como el SPRE, es normal que los miembros del panel den diferente importancia a los distintos elementos dentro de cada sección», afirmó, añadiendo que los paneles tendrán que desarrollar métodos de trabajo para mitigar esto.

Green señaló que, aunque los organizadores del REF han aclarado que el contexto, en contraposición al rendimiento absoluto, será importante en la evaluación de las declaraciones a nivel institucional, «sería útil que esto se extendiera a las declaraciones a nivel de unidad, para evitar el riesgo de una evaluación inconsistente».

Afirmó que, en su opinión, existía «un reconocimiento cada vez mayor de que evaluar el SPRE requiere conocimientos especializados», lo cual «difiere de evaluar los resultados y el impacto».

Esto podría significar que los miembros del panel necesitan una formación específica, sugirió, o que los organizadores deben plantearse «si los mismos miembros del panel deben evaluar los tres elementos». 

John Womersley, antiguo presidente ejecutivo del Consejo de Instalaciones Científicas y Tecnológicas, afirmó que el abandono del uso generalizado de métricas en la PCE podría reflejar la constatación de que este enfoque favorecería la «jerarquía arraigada» de las universidades intensivas en investigación. Según el informe piloto, las universidades más grandes tenían muchas más probabilidades de obtener una calificación de 4* en cuanto al entorno de investigación, según los datos recopilados.

«Las narrativas parecen más igualitarias», afirmó Womersley, y añadió que «los cínicos podrían señalar que quienes promueven lo que podría denominarse una agenda de «justicia social» siempre han tratado de alejar las evaluaciones de las métricas puras, como el recuento de publicaciones en revistas de gran impacto, etc.».

Una de las recomendaciones más importantes de los paneles piloto es que las declaraciones medioambientales deben contener una «autorreflexión» y centrarse en la «mejora continua» para que se consideren 4*.

Para Green, este elemento es crucial. «Un aspecto en el que la claridad será especialmente importante es que las declaraciones SPRE, tanto a nivel institucional como de unidad, deben basarse en una autoevaluación honesta, y no limitarse a presentar una imagen muy pulida y selectiva de la propuesta en cuestión».

****************************************

‘Inconsistency’ fears after REF retreat on environment metrics

Clear guidance needed on how narrative-based submissions will be graded to avoid accusations that judgements are overly subjective, say experts  

Published on January 5, 2026

Last updated January 5, 2026

Jack Grove

Twitter: @jgro_the

Limited use of metrics in the UK’s Research Excellence Framework (REF)’s revamped environment section has raised concerns about how it will be consistently evaluated.

There are fears the newly renamed “strategy, people and research environment” (SPRE) section will suffer from the same criticisms of its predecessor, “people, culture and environment” (PCE), which some felt lacked robustness, given institutions were graded on lengthy narrative-based submissions. 

It was hoped a pilot examining potential “indicators” covering areas such as staff training, open access and diversity might produce metrics to allow a streamlined and objective assessment.

But a report on the pilot published last month found data collection proved difficult for those participating. Some data – such as that collected for the England-only Knowledge Exchange Framework – was not available for all institutions, while collecting data for other metrics would have imposed a “significant burden” on institutions and would be “impossible to collect retrospectively”, it found. 

In addition, the relevant population for many of the research indicators was “unclear” and “might not be appropriate for all disciplines”, meaning they could “not be applied evenly across the entire exercise”.

Recommending a “much tighter framework for a full-scale REF exercise”, the report put forward only a handful of metrics for the PCE section on which there was “reasonable agreement” among panellists who assessed the pilot’s submissions. These include: longitudinal data on research staff based on sex, ethnicity and disability; pay gaps for each of these protected characteristics; numbers for newly employed early career researchers, technical support staff and staff on fixed term contracts.  

Data on how many times shared datasets are accessed or the share of research outputs published open access could also be included, adds the report.

If REF panels will again be asked to examine narrative statements supported by only a handful of data points, more thought will need to be given to how to avoid the charge that assessments might be seen “overly subjective”, said Simon Green, pro vice-chancellor (research and knowledge exchange) at the University of Salford, a panel member for the pilot’s effort to examine institutional level indicators.  

“Consistency of evaluation is key. With something as broad as SPRE, it is normal that panel members will place different emphasis on the different elements within each section,” he said, adding that panels will need to develop working methods to mitigate this.

Green said that while REF organisers had clarified that context, as opposed to absolute performance, will matter in the assessment of institution-level statements, “it would be helpful to see this extended to unit-level statements, to avoid the risk of inconsistent assessment”.  

He said he felt there was “a growing recognition that assessing SPRE requires specialist understanding” that was “different to evaluating outputs and impact”.

This might mean that specific training is needed for panel members, he suggested, or organisers may need to question “whether the same panel members should be assessing all three elements”. 

John Womersley, former executive chair of the Science and Technology Facilities Council, said the shift away from the greater use of metrics in PCE could have reflected the realisation that this approach would favour the “entrenched hierarchy” of research-intensive universities. According to the pilot report, larger universities were far more likely to be judged 4* for research environment based on the data collected.

“Narratives feel more egalitarian”, said Womersley, adding that “the cynic might note that those pushing what one might call a ‘social justice’ agenda have always tried to steer assessments away from pure metrics, like counting publications in high-impact journals and so on”.  

One of the strongest recommendations of the pilot’s panels is that environment statements should contain “self-reflection” and a focus on “continuous improvement” if they are to be deemed 4*.

For Green, this element is crucial. “One aspect on which clarity will be particularly important is that SPRE statements, both at institutional and unit levels, should be based on honest self-assessment, and not just present a highly-polished and selective picture of the submission in question.”

jack.grove@timeshighereducation.com

*********************************

UK: críticas al nuevo modelo de evaluación británico

Publicado en Nature
https://www.nature.com/articles/d41586-023-02469-w 

Se reforma la evaluación de la investigación en el Reino Unido, pero los cambios no dan en el clavo

El paso del rendimiento individual al institucional en el próximo ejercicio del Marco de Excelencia en Investigación es bienvenido, pero ignora las realidades del mundo académico.

Richard Watermeyer, Gemma Derrick y Kate Sang

El 15 de junio se propusieron normas actualizadas para la próxima ronda del Marco de Excelencia en Investigación (REF), el sistema de evaluación utilizado para distribuir entre las universidades británicas unos 2.000 millones de libras (2.500 millones de dólares) de financiación anual. Las cuatro agencias de financiación de la enseñanza superior del Reino Unido las dieron a conocer.

A primera vista, los cambios previstos parecían reconocer mejor los resultados de la investigación que no se limitan a los convencionales, como publicaciones y libros.

Pero una lectura más atenta revela que no está tan en sintonía con las realidades de la investigación académica. Como investigadores en educación que, durante años, hemos seguido y escrito sobre las deficiencias del REF (written about the REF’s shortcomings), pensamos que los responsables políticos están siendo ingenuos tanto ante las realidades de la cultura investigadora del Reino Unido como ante el riesgo de causar más problemas de los que resuelven.

Las normas propuestas para el próximo REF, que concluirá en 2028, se basan en las conclusiones del Future Research Assessment Programme (FRAP), un programa de investigación y evaluación de los organismos de financiación del Reino Unido. El FRAP incluye un informe elaborado por un grupo de asesores internacionales, presidido por el ex asesor científico jefe de Nueva Zelanda, Peter Gluckman.

Las 13 recomendaciones de los asesores siguen considerando el REF como un instrumento fundamental para determinar la financiación de la investigación universitaria, pero reconocen que puede deformar la cultura de la investigación a través de incentivos perversos, como una excesiva dependencia de las métricas de publicación para evaluar la valía de un investigador.

Su informe proponía aumentar la contribución a la puntuación global del REF de las métricas que reconocen lo bien que una institución apoya la investigación, y reducir la ponderación de los resultados de la investigación convencional. Las recomendaciones fueron aprobadas por los organismos de financiación el 15 de junio.

Sin embargo, creemos que las recomendaciones y los cambios propuestos son erróneos. Lejos de conducir a un sistema más holístico y equitativo de evaluación de la investigación, estas orientaciones podrían dar lugar a una mayor degradación de la cultura de la investigación en las instituciones de enseñanza superior del Reino Unido.

Reglas de la REF

Las normas propuestas consideran cómo los intentos de las universidades de explotar las normas de la REF en su propio beneficio pueden ser perjudiciales para las condiciones de trabajo de los individuos, y los asesores piden "desplazar la carga de un enfoque centrado en el individuo a la institución".

Esta forma de pensar es encomiable. En la práctica, sin embargo, es imposible obviar la contribución individual a la investigación durante los preparativos de una universidad para el REF. Las universidades están formadas por individuos, y la investigación se motiva y evalúa sobre todo de forma individual.

Las orientaciones también recomiendan que el REF sea más inclusivo, haciendo que las contribuciones de todos los investigadores puedan ser evaluadas. El objetivo es eliminar los efectos perjudiciales para los investigadores que no son seleccionados para la presentación, un problema importante del primer ejercicio de la REF en 2014. La presentación universal se introdujo en la REF 2021, pero en la REF 2028 no habrá un número máximo o mínimo de resultados de investigación asignados a un investigador individual, siempre que se alcance un promedio en un área temática.

El problema es que las universidades probablemente volverán a ser hiperselectivas, centrándose en los miembros del personal que producen la investigación más "apta para el REF", marginando así a los demás. Además, el alejamiento de los investigadores individuales podría significar que circunstancias especiales -como la baja por paternidad- no se tuvieran en cuenta en una evaluación. A diferencia de los anteriores REF, en los que los académicos podían revelar a sus empleadores experiencias vitales y laborales a menudo complejas y angustiosas, así como discapacidades.

Defectos intrínsecos

La apuesta por romper el vínculo entre individuos e instituciones también presupone erróneamente que la cultura investigadora se limita a las instituciones individuales. La insistencia de los asesores internacionales en la "ciencia de equipo" como base de muchas de sus recomendaciones se ve contrarrestada por el hecho de que el REF se centra únicamente en la investigación británica.

A muchos académicos también les preocupará la menor contribución de sus resultados de investigación a la puntuación global del REF, que pasará del 60% en el REF 2021 al 50% en el próximo REF de 2028. Esto desatiende el estatus de las publicaciones académicas, correcto o incorrectamente, como la principal moneda en la economía del prestigio académico, y pone en riesgo el estatus global y la movilidad de los académicos del Reino Unido si se desincentiva su enfoque en los resultados.

Por último, la recomendación de los asesores de que no se haga "excesivo hincapié" en el REF a la hora de evaluar al personal o de comparar los resultados con los de otras instituciones ignora por completo el uso inevitable del REF como herramienta de gestión y clasificación. El sector británico de la enseñanza superior, como cualquier otro, está sometido a las clasificaciones. El REF sirve indiscutiblemente a esa fijación, desde luego a nivel nacional. Cualquier vistazo a las páginas web de las universidades británicas revela hasta qué punto la REF forma parte integrante del modo en que las universidades promocionan la calidad de su investigación. Además, la idoneidad de la investigación para la REF está profundamente arraigada en la psique de los académicos británicos y en cómo valoran su trabajo y el de los demás. Se necesitan aportaciones de iniciativas de base para romper esta cultura, no sólo mediante la imposición de normas de arriba abajo.

Fundamentalmente, las normas de la REF son elaboradas por personas cada vez más alejadas de las condiciones de trabajo que experimenta el investigador medio. Por lo tanto, los esfuerzos para limitar los efectos nocivos de la REF en los individuos sólo sirven para aumentar su exposición a la precariedad laboral y la degradación de la cultura de la investigación. Hasta que las voces de la mayoría de los académicos no sean escuchadas y atendidas, la modernización del REF no será más una reforma cultural que un retroceso. Hasta entonces, este no es nuestro REF: es (todavía) el suyo.

*************************************

• 31 July 2023

UK research assessment is being reformed — but the changes miss the mark

A shift from individual to institutional performance in the next Research Excellence Framework exercise is welcome, but ignores the realities of academia.

Richard Watermeyer, Gemma Derrick & Kate Sang

On 15 June, updated rules were proposed for the next round of the Research Excellence Framework (REF), the assessment system used to distribute around £2 billion (US$2.5 billion) of annual funding across UK universities. These were unveiled by the United Kingdom’s four higher-education funding agencies.

At first sight, the planned changes seemed to better recognize research outputs that are not just limited to conventional ones such as publications and books.

But a closer reading reveals that it is not quite so attuned to the realities of academic research. As education researchers who, for years, have followed and written about the REF’s shortcomings, we think that policymakers are being naive both to the realities of UK research culture and to the risk of causing more problems than they solve.

The proposed rules for the next REF, set to conclude in 2028, are built on the findings of the Future Research Assessment Programme (FRAP), a programme of research and evaluation from UK funding bodies. FRAP includes a report by a group of international advisers, chaired by New Zealand’s former chief scientific adviser Peter Gluckman. 

The advisers’ 13 recommendations still regard the REF as a core way of determining university research funding, but acknowledge that it can warp research culture through perverse incentives such as an over-reliance on publication metrics to assess a researcher’s worth.

Their report proposed an increase in the contribution to the overall REF score of metrics that recognize how well an institution supports research, and a drop in the weighting of conventional research outputs. The recommendations were adopted by the funding bodies on 15 June.

However, we argue that the recommendations and proposed changes repeatedly miss the mark. Far from leading towards a more holistic and equitable system of research assessment, this guidance might result in the further degradation of research culture in UK higher-education institutions. 

‘REF-ability’ rules

The proposed rules consider how universities’ attempts to exploit REF rules for their own advantage can be detrimental to the working conditions of individuals, with the advisers calling for “shifting the burden away from a focus on the individual to the institution”.

Such thinking is commendable. In practice, however, it is impossible to avoid an individual’s research contribution during a university’s preparations for the REF. Universities are made up of individuals, and research is mostly individually motivated and assessed.  

The guidance also recommends making the REF more inclusive by making contributions from all researchers eligible for assessment. The aim here is to remove the detrimental effects for researchers who are not selected for submission — a major problem of the first REF exercise in 2014. Universal submission was introduced in REF 2021, but in REF 2028 there will be no maximum or minimum number of research outputs attached to any individual researcher, provided an average is met across a subject area.

The problem is that universities will still probably return to being hyper-selective, focusing on members of staff who produce the most ‘REF-able’ research, thereby marginalizing others. Moreover, the shift away from individual researchers could mean that special circumstances — such as parental leave — might not be considered in an assessment. This is unlike previous REFs, in which academics could disclose often complex and distressing life and work experiences, as well as disabilities, to their employers. 

Inherently flawed

A bid to break the link between individuals and institutions also wrongly assumes that research culture is limited to single institutions. The international advisers’ emphasis on ‘team science’ as the basis for many of their recommendations is counteracted by the fact that the REF focuses only on UK research.

Many academics will also be concerned by the lower contribution of their research outputs towards an overall REF score, which will drop from 60% in REF 2021 to 50% for the next REF in 2028. This neglects the status of scholarly publications, rightly or wrongly, as the main currency in academia’s prestige economy, and risks the global status and mobility of UK academics if their focus on outputs is disincentivized. 

Finally, the advisers’ recommendation that the REF should not be given “excessive emphasis” in evaluating staff or benchmarking performance against other institutions completely ignores the REF’s inevitable use as a management and ranking tool. The UK higher-education sector, much like every other, is in thrall to rankings. The REF indisputably serves such a fixation, certainly at a national level. Any look at UK university websites reveals how integral the REF is in the way in which universities promote the quality of their research. Moreover, the REF-ability of research is deeply ingrained in the psyche of UK academics and how they value their, and others’, work. Input from grass-roots initiatives are needed to break this culture, not just through imposing top-down rules.

Fundamentally, the REF’s rules are made by people who are increasingly distanced from the working conditions experienced by the average researcher. Thus, efforts to limit the harmful effects of the REF on individuals serve only to further their exposure to occupational precarity and the degradation of research culture. Until the voices of the majority of academics are heard and responded to, modernizing the REF will be no more cultural reform than retrogression. Until then, this is not our REF: it is (still) theirs.

doi: https://doi.org/10.1038/d41586-023-02469-w