Publicado en University World News
https://www.universityworldnews.com/post.php?story=20220119134808246
Los rankings universitarios siguen embaucando al público, a los estudiantes y a los padres, influyendo en las estrategias universitarias, gubernamentales y de inversión, y cautivando a los titulares de los medios de comunicación y a las audiencias de todo el mundo.
Lanzados en 2003, los rankings mundiales captaron el espíritu de la aceleración de la globalización y la batalla mundial por el talento, así como el aumento de la atención política y pública sobre el rendimiento, la calidad y la responsabilidad.
El éxito de los rankings radica en la forma en que muestran la comparabilidad internacional entre sistemas e instituciones intrínsecamente diversos y desiguales.
El sistema mundial de enseñanza superior se caracteriza por el intercambio y la colaboración asimétricos, así como por el conflicto y la competencia dentro de los países y entre ellos. Las iniciativas de excelencia pretenden alterar esa narrativa tratando de situar a unas pocas universidades en la cima de la jerarquía mundial.
La trayectoria de China está bien documentada. Su notable ascenso, de no tener ninguna universidad entre las 100 mejores en 2003 a siete en 2021, supone un aumento del 700% en el Academic Ranking of World Universities (ARWU). En comparación, Estados Unidos experimentó un descenso del 31%, pasando de 58 universidades entre las 100 mejores en 2003 a 40 en 2021.
Al centrarse demasiado en las 100 mejores universidades, se ignora la expansión más notable de la producción y la capacidad científica procedente de un conjunto de universidades y académicos de países más diversos. Esta multipolaridad describe un sistema de educación superior y de conocimiento abierto y dinámico, diferente del modelo estático núcleo-periferia que ha caracterizado la teoría del sistema global.
Sin embargo, también es un sistema en el que las universidades de élite, y sus naciones, tratan de reforzar y ampliar su influencia y avanzar en sus objetivos a través de redes internacionales. La competencia y la colaboración van de la mano.
Pero hay muchos "perdedores". El profesor Akiyoshi Yonezawa explica que la carrera armamentística para invertir en universidades de categoría mundial resultó más cara de lo que Japón, con su sistema de enseñanza superior ya maduro, podía permitirse. Tara K Ising y James D Breslin cuentan una historia similar sobre la "falacia de la priorización del estatus", que estuvo a punto de paralizar la Universidad de Louisville (Estados Unidos) cuando bajó la marea económica.
El negocio de los rankings: el aumento de la atención sobre la comparabilidad y la responsabilidad internacionales ha fomentado una creciente alineación entre los rankings, las publicaciones y los grandes datos. Esto está generando un negocio de inteligencia global con enormes depósitos de datos científicos y de educación superior que se mantienen detrás de los muros de pago.
Se observa una creciente integración entre un pequeño número de editoriales mundiales y los sistemas en línea, incluidas las empresas de "gestión de programas en línea". Utilizando Elsevier como estudio de caso, George Chen y Leslie Chan trazan un mapa del desarrollo de plataformas integrales de publicación, análisis de datos e inteligencia de investigación que amplían el papel visible como proveedor de servicios, así como el papel invisible en la gobernanza pública.
Las empresas editoriales se cruzan con los rankings y los sofisticados programas informáticos de extremo a extremo para acumular y gestionar datos, monetizar y crear nuevos activos y aprovechar los productos de análisis para trabajar en todo el ciclo de producción de conocimiento académico, desde la concepción hasta la publicación y distribución y la posterior evaluación y gestión de la reputación.
Podría decirse que generan incentivos perversos para que las universidades y los investigadores utilicen esos mismos productos con fines competitivos y estratégicos.
Se ha prestado muy poca atención a la integración empresarial y a la concentración económica entre los rankings, la publicación y el big data. De hecho, la facilidad acrítica con la que las universidades y los académicos proporcionan carteras de datos queda ilustrada por las montañas de material presentadas al Times Higher Education Impact Rankings para su evaluación a puerta cerrada.
Una de las cuestiones de los rankings, si no la más criticada, se refiere a la metodología y la elección de los indicadores. El creciente número de clasificaciones y las nuevas audiencias han acelerado la creación de vastos lagos de datos, pero no nos dicen mucho sobre las misiones y los resultados de la educación superior.
20 años después, ¿qué hemos aprendido sobre los rankings mundiales?
Ellen Hazelkorn y Georgiana Mihut 22 de enero de 2022
En 2019, varios 'famosos' fueron a la cárcel por conspiración criminal por influir en las decisiones de admisión a las universidades. Treinta y tres padres de solicitantes universitarios fueron acusados de pagar más de 25 millones de dólares entre 2011 y 2018 en lo que se conoció como el escándalo de sobornos de la Operación Varsity Blues.
Dos años más tarde, el exdecano de la escuela de negocios de la Universidad de Temple, junto con dos co-conspiradores, fue declarado culpable de fraude por falsificar datos proporcionados a US News and World Report. Se enfrenta a la pena máxima posible de 25 años de prisión, seguida de tres años de libertad supervisada y una multa de 500,000 dólares.
Ambos sucesos son una historia de búsqueda de estatus: cómo los rankings universitarios siguen embaucando al público, a los estudiantes y a los padres, influyendo en las estrategias universitarias, gubernamentales y de inversión, y cautivando a los titulares de los medios de comunicación y a las audiencias de todo el mundo.
Lanzadas en 2003, las clasificaciones mundiales captaron el espíritu de la aceleración de la globalización y la batalla mundial por el talento, así como el aumento de la atención política y pública sobre el rendimiento, la calidad y la responsabilidad.
En vísperas de su 20º aniversario, el Research Handbook on University Rankings: Theory, methodology, influence and impact (Research Handbook on University Rankings: Teoría, metodología, influencia e impacto) - en 37 capítulos - ofrece una revisión y análisis exhaustivos de su influencia e impacto.
A continuación se destacan tres temas.
Reconfiguración geopolítica del panorama de la enseñanza superior
El éxito de los rankings radica en la forma en que muestran la comparabilidad internacional entre sistemas e instituciones intrínsecamente diversos y desiguales. Como afirma Brendan Cantwell, de la Universidad Estatal de Michigan, el sistema mundial de enseñanza superior se caracteriza por el intercambio y la colaboración asimétricos, así como por el conflicto y la competencia dentro de los países y entre ellos.
Las iniciativas de excelencia pretenden alterar esa narrativa tratando de situar a unas pocas universidades en la cima de la jerarquía mundial.
La trayectoria de China está bien documentada. Su notable ascenso, de no tener ninguna universidad entre las 100 mejores en 2003 a siete en 2021, supone un aumento del 700% en el Academic Ranking of World Universities (ARWU). En comparación, Estados Unidos experimentó un descenso del 31%, pasando de 58 universidades entre las 100 mejores en 2003 a 40 en 2021.
Esto explica también que los franceses celebraran que la Universidad de París-Saclay se situara en el puesto 13 de la ARWU en 2021. Un proceso de consolidación había reunido 10 facultades, cuatro grandes escuelas, el Instituto de Altos Estudios Científicos, dos universidades asociadas y laboratorios compartidos con los principales organismos nacionales de investigación franceses.
Al centrarse demasiado en las 100 mejores universidades, se ignora la expansión más notable de la producción y la capacidad científica procedente de un conjunto de universidades y académicos de países más diversos, como describen los autores Simon Marginson, y Jeongeun Kim y Michael Bastedo. Esta multipolaridad describe un sistema de educación superior y de conocimiento abierto y dinámico, diferente del modelo estático núcleo-periferia que ha caracterizado la teoría del sistema global.
Sin embargo, también es un sistema en el que las universidades de élite, y sus naciones, tratan de reforzar y ampliar su influencia y avanzar en sus objetivos a través de redes internacionales, dice Ángel Calderón. La competencia y la colaboración van de la mano.
Pero hay muchos "perdedores". El profesor Akiyoshi Yonezawa explica que la carrera armamentística para invertir en universidades de categoría mundial resultó más cara de lo que Japón, con su sistema de enseñanza superior ya maduro, podía permitirse. Tara K Ising y James D Breslin cuentan una historia similar sobre la "falacia de la priorización del estatus", que estuvo a punto de paralizar la Universidad de Louisville (Estados Unidos) cuando bajó la marea económica.
Estos diferentes resultados ponen de manifiesto la necesidad de una inversión sustancial respaldada por una política favorable, junto con el sesgo incorporado en la metodología de las clasificaciones, que favorece a las universidades de alto rendimiento y más antiguas, a las medidas de investigación y a la reputación. Como tales, nos dicen casi todo lo que necesitamos saber sobre las tensiones geopolíticas actuales.
El negocio de los rankings
El aumento de la atención sobre la comparabilidad y la responsabilidad internacionales, junto con los sistemas científicos abiertos y el deseo de contar con plataformas digitales, ha fomentado una creciente alineación entre los rankings, las publicaciones y los grandes datos. Esto está generando un negocio de inteligencia global con enormes depósitos de datos científicos y de educación superior que se mantienen detrás de los muros de pago.
Hamish Coates pone de manifiesto la creciente integración entre un pequeño número de editoriales mundiales y los sistemas en línea, incluidas las empresas de "gestión de programas en línea". Utilizando Elsevier como estudio de caso, George Chen y Leslie Chan trazan un mapa del desarrollo de plataformas integrales de publicación, análisis de datos e inteligencia de investigación que amplían el papel visible como proveedor de servicios, así como el papel invisible en la gobernanza pública.
Las empresas editoriales se cruzan con los rankings y los sofisticados programas informáticos de extremo a extremo para acumular y gestionar datos, monetizar y crear nuevos activos y aprovechar los productos de análisis para trabajar en todo el ciclo de producción de conocimiento académico, desde la concepción hasta la publicación y distribución y la posterior evaluación y gestión de la reputación.
A su vez, podría decirse que generan incentivos perversos para que las universidades y los investigadores utilicen esos mismos productos con fines competitivos y estratégicos.
Se ha prestado muy poca atención a la integración empresarial y a la concentración económica entre los rankings, la publicación y el big data. De hecho, la facilidad acrítica con la que las universidades y los académicos proporcionan carteras de datos queda ilustrada por las montañas de material presentadas al Times Higher Education Impact Rankings para su evaluación a puerta cerrada.
El reciente anuncio de la adquisición de Inside Higher Ed por parte de Times Higher Education tiene el potencial de confundir aún más las funciones de comentarista independiente de la educación superior y de promotor de clasificaciones.
Se están empezando a plantear preguntas sobre la propiedad de los datos, la gobernanza y la regulación, de la misma manera que se están planteando estas preguntas sobre las grandes tecnologías.
Indicadores significativos y medición del rendimiento
Una de las cuestiones de los rankings, si no la más criticada, se refiere a la metodología y la elección de los indicadores. El creciente número de clasificaciones y las nuevas audiencias han acelerado la creación de vastos lagos de datos, pero no nos dicen mucho sobre las misiones y los resultados de la educación superior.
Seguimos sin entender bien lo que constituye una educación superior de alta calidad o cómo evaluar la calidad de la enseñanza y el aprendizaje, la internacionalización, el IDI (igualdad, diversidad e inclusión), el compromiso y el impacto en la sociedad, la innovación, etc. Estamos de acuerdo en que las instituciones de educación superior deben ser más receptivas a la sociedad, pero nos falta una comprensión común de lo que eso significa, y nos apresuramos a dar prioridad a la reputación global.
Los académicos y las universidades son tan culpables como sus gobiernos en este sentido. Por ejemplo, la relación personal-alumno, que se utiliza fácilmente, pero que, como afirman John Zilvinskis et al. y Kyle Fassett y Alexander McCormick, no guarda relación con la calidad de la enseñanza. Medir la ganancia de aprendizaje, dice Camille Howson, es una noble ambición, pero no hay "una simple métrica 'bala de plata' que mida de forma precisa y efectiva el aprendizaje de los estudiantes de forma comparativa entre materias de estudio y tipos de instituciones".
Mientras que algunos gobiernos y universidades siguen bajo la influencia de las clasificaciones, otros son más circunspectos. Los rankings pueden ser un factor de motivación, pero como sostienen Sebastian Stride et al, Andrée Sursock, y Cláudia Sarrico y Ana Godonoga, la evaluación comparativa y la garantía de calidad pueden desempeñar un papel más sostenible a la hora de arrojar luz sobre los puntos débiles, adoptar nuevos enfoques y mejorar la calidad, la gobernanza y las condiciones marco.
Hay demasiadas pruebas, advierte Robert Kelchen, de que simplemente valoramos lo que se mide, no lo que importa.
¿Siguen siendo relevantes?
Todo este enfoque en la excelencia de clase mundial plantea una pregunta básica sobre si nuestros estudiantes y graduados son mejores ciudadanos y si nuestras instituciones hacen contribuciones significativas al bienestar y la sostenibilidad de sus comunidades.
Un artículo reciente en The Atlantic identifica a los graduados de las 20 mejores universidades del mundo de EE.UU. como el centro del intento de golpe de Estado de Donald Trump el 6 de enero, socavando celosamente los valores y las estructuras básicas de la sociedad democrática porque sus posiciones históricas o de estatus asumido les protegen de cualquier "consecuencia significativa de sus fracasos".
Al final de casi 20 años de clasificaciones, hay pocas pruebas de que las clasificaciones tengan un impacto significativo en la mejora de la calidad. Además, no existe ninguna correlación entre subir en las clasificaciones y hacer una contribución significativa a la sociedad o al bien público.
Ellen Hazelkorn es socia de BH Associates y profesora emérita de la Universidad Tecnológica de Dublín (Irlanda), así como editora conjunta de Policy Reviews in Higher Education. Georgiana Mihut es profesora adjunta del departamento de estudios educativos de la Universidad de Warwick, Reino Unido. Research Handbook on University Rankings: Theory, methodology, influence and impact está editado por Ellen Hazelkorn y Georgiana Mihut.
***********
20 years on, what have we learned about global rankings?
Ellen Hazelkorn and Georgiana Mihut 22 January 2022
Share
In 2019, several ‘famous’ people went to prison for criminal conspiracy to influence undergraduate admission decisions. Thirty-three parents of college applicants were accused of paying more than US$25 million between 2011 and 2018 in what became known as the Operation Varsity Blues bribery scandal.
Two years later, the former dean of Temple University’s business school, along with two co-conspirators, was convicted of fraud for falsifying data provided to US News and World Report. He faces the maximum possible sentence of 25 years in prison followed by three years of supervised release and a US$500,000 fine.
Both events tell a tale of status-seeking behaviour – how university rankings continue to bamboozle the public, students and parents, influence university, government and investment strategies, and captivate media headlines and audiences around the world.
Launched in 2003, global rankings captured the zeitgeist of accelerating globalisation and the global battle for talent and increased policy and public focus on performance, quality and accountability.
On the eve of their 20th anniversary, the Research Handbook on University Rankings: Theory, methodology, influence and impact – in 37 chapters – provides a comprehensive review and analysis of their influence and impact.
Three themes are highlighted below.
Geopolitical reshaping of the higher education landscape
The success of rankings lies in the way they showcase international comparability between inherently diverse and unequal systems and institutions. As Brendan Cantwell of Michigan State University argues, the global higher education system is characterised by asymmetrical exchange and collaboration as well as by conflict and competition within and between countries.
Excellence initiatives aim to alter that narrative by seeking to position a few universities at the top of the global hierarchy.
China’s path is well documented. Its remarkable rise from having no universities in the top 100 in 2003 to seven in 2021 is an increase of 700% in the Academic Ranking of World Universities (ARWU). In comparison, the United States experienced a 31% decline from 58 universities in the top 100 in 2003 to 40 in 2021.
This also explains why the French celebrated when the University of Paris-Saclay was ranked 13th on the ARWU in 2021. A process of consolidation had brought together 10 faculties, four grandes écoles, the Institut des Hautes Etudes Scientifiques, two member-associated universities and shared laboratories with the main national French research organisations.
Too much focus on the top 100 ignores the more noteworthy expansion in scientific output and capacity coming from a pipeline of universities and scholars from a more diverse set of countries, as described by authors Simon Marginson, and Jeongeun Kim and Michael Bastedo. This multi-polarity portrays an open and dynamic higher education and knowledge system – different from the static core-periphery model which has characterised global system theory.
Yet, it is also one in which elite universities, and their nations, seek to reinforce and extend their influence and advance their objectives through international networks, says Angel Calderon. Competition and collaboration go hand in hand.
But there are many ‘losers’. Professor Akiyoshi Yonezawa explains that the arms race for investment in world-class universities became more expensive than Japan, with its already-mature higher education system, could afford. A similar tale is told by Tara K Ising and James D Breslin of the “fallacy of status prioritisation” which nearly crippled the University of Louisville, United States, when the economic tide went out.
These differing outcomes highlight the necessary substantial investment underpinned by favourable policy alongside the built-in bias of rankings methodology which favours high-performing and older universities, research measures and reputation. As such, they tell us almost everything we need to know about geopolitical tensions today.
The business of rankings
Increased attention on international comparability and accountability, along with open science systems and the desire for digital platforms, has fostered growing alignment between rankings, publishing and big data. This is generating a global intelligence business with huge repositories of higher education and scientific data held behind paywalls.
Hamish Coates evidences deepening integration between a small number of global publishers and online systems, including “online programme management” firms. Using Elsevier as a case study, George Chen and Leslie Chan map the development of end-to-end publishing, data analytics and research intelligence platforms which extend the visible role as a service provider as well as the invisible role in public governance.
Publishing firms intersect with rankings and sophisticated end-to-end software to accumulate and manage data, monetise and create new assets and leverage analytics products to work across the entire academic knowledge production cycle from conception to publication and distribution and subsequent evaluation and reputation management.
In turn, they arguably generate perverse incentives for universities and researchers to use those very same products for competitive and strategic purposes.
Too little attention has focused on corporate integration and economic concentration between rankings, publishing and big data. Indeed, the uncritical ease with which universities and scholars provide portfolios of data is illustrated by the mountains of material submitted to the Times Higher Education Impact Rankings for assessment behind closed doors.
The recent announcement of the acquisition of Inside Higher Ed by Times Higher Education has the potential to further confuse the roles of independent commentator on higher education and promoter of rankings.
Questions are only beginning to be asked about data ownership, governance and regulation – in the same way such questions are being asked about big tech.
Meaningful indicators and measuring performance
One – if not the – most regularly critiqued rankings issue concerns the methodology and choice of indicators. The growing number of rankings and new audiences have hastened the creation of vast data-lakes, but do not tell us much about the missions and outcomes of higher education.
We still have a poor understanding of what constitutes high quality higher education or how to assess quality in teaching and learning, internationalisation, EDI (equality, diversity and inclusion), societal engagement and impact, innovation, etc. We agree higher education institutions should be more socially responsive, but we lack a common understanding of what that means – and we’re too quick to prioritise global reputation.
Academics and universities are as guilty as their governments in this regard. Take the staff-student ratio which is readily used but, as John Zilvinskis et al and Kyle Fassett and Alexander McCormick argue, it does not correlate with teaching quality. Measuring learning gain, says Camille Howson, is a noble ambition, but there is “no simple ‘silver bullet’ metric that accurately and effectively measures student learning comparatively across subjects of study and institutional types”.
While some governments and universities remain under the influence of rankings, others are more circumspect. Rankings may be a motivator, but as Sebastian Stride et al, Andrée Sursock, and Cláudia Sarrico and Ana Godonoga argue, benchmarking and quality assurance can play more sustainable roles in shedding light on weaknesses, adopting new approaches and improving quality, governance and framework conditions.
There is too much evidence, warns Robert Kelchen, that we simply value what is measured, not what matters.
Still relevant?
All this focus on world-class excellence poses a basic question as to whether our students and graduates are better citizens and if our institutions make meaningful contributions to the well-being and sustainability of their communities.
A recent piece in The Atlantic identifies graduates of US global top 20 universities as being at the centre of Donald Trump’s coup attempt on 6 January – zealously undermining the basic values and structures of democratic society because their historic or assumed status positions protect them from any “significant consequences of their failures”.
At the end of nearly 20 years of rankings, there is little evidence that rankings make any meaningful impact on improving quality. And, there is no correlation between rising in the rankings and making a significant contribution to society or the public good.
Ellen Hazelkorn is a partner at BH Associates and professor emerita of the Technological University Dublin, Ireland, as well as joint editor of Policy Reviews in Higher Education. Georgiana Mihut is assistant professor in the department of education studies, University of Warwick, United Kingdom. Research Handbook on University Rankings: Theory, methodology, influence and impact is edited by Ellen Hazelkorn and Georgiana Mihut.
