Publicado en blog Universídad. Una conversación pública sobre la universidad
https://www.universidadsi.es/el-ranking-de-scimago-habra-sorpresas-con-espana/
Repasando la nutrida blogoteca de universídad, descubrimos que, hace unos años, Xavier Grau publicó un post titulado “3ª lección: los rankings también ordenan sistemas universitarios”. El autor abogaba entonces por el uso de los rankings para ordenar sistemas universitarios, es decir, para decidir qué sistemas a nivel de país son mejores, pero también cuáles son peores.
En nuestro post damos un paso más allá, utilizando esos rankings internacionales para analizar la eficiencia de los diferentes sistemas universitarios.
En concreto, revisamos un trabajo que acabamos de publicar en la revista International Transactions in Operational Research (ITOR) junto con Daniel Solís (Florida A&M University) y María Moraga-Fernández (Université Paris 1 Panthéon‐Sorbonne).
En este artículo se clasifican los sistemas universitarios de 87 países de todo el mundo en función de su eficiencia, usando el SCImago Institutions Rankings (SIR), que ordena las universidades en función de su producción e impacto científico. Para ello se usa la metodología de frontera estocástica, que permite calcular el nivel de eficiencia de una unidad (sistema universitario en nuestro caso) si se conocen sus inputs (recursos), su(s) output(s) (resultados), así como posibles variables de entorno.
Los rankings como medida de outputNo olvidemos que las universidades son unidades de producción multi-input y multi-output (en especial las públicas), y que su desempeño está influenciado por las condiciones (socioeconómicas, legales, operacionales, etc.) de su entorno.
Los estudios que utilizan rankings de universidades como medida de output suelen centrarse en clasificaciones generales, ignorando las grandes diferencias de la labor universitaria por área de conocimiento (por ej., Economía, Medicina, Física, etc.). En este trabajo, para evaluar la eficiencia de los sistemas universitarios usamos los 19 rankings de área del SIR. En concreto, utilizamos como output el número de universidades de cada país que aparecen por debajo de una determinada posición.
Por ejemplo, el valor para España en la posición 20 es de 1, puesto que sólo la Universidad Complutense de Madrid figura entre los 20 primeros puestos (en este caso aparece en el puesto 15 en el área de Odontología). Para el puesto 100, el valor para España sería de 24, pues el Sistema Universitario Español cuenta con 24 universidades en los 100 primeros puestos de cualquiera de las ramas de conocimiento del ranking de SCImago. Éste es el procedimiento seguido para todas las posibles posiciones, desde la cuarta hasta la 1.000, obteniendo una visión completa del desempeño por país. Los estudios previos se han centrado en analizar posiciones específicas, como el puesto 100 o 500, mostrando visiones muy valiosas, pero a nuestro juicio, parciales.
Las universidades vistas desde los inputsPor otra parte, el input ideal hubiera sido la suma de los presupuestos de las universidades, pero se trata de un dato no disponible (y probablemente no comparable) para la gran variedad de países incluidos en nuestro análisis. De esta manera, se ha optado por usar el PIB y el gasto en I+D de cada país, aproximando así las características del entorno en el que las universidades desempeñan su actividad.
Además, es bien conocido que el dominio perfecto del inglés supone una ventaja comparativa de cara a hacer ciencia (y su divulgación en publicaciones de alto impacto). Es decir, supone una ventaja ya que hace que los resultados científicos sean más visibles para los rankings universitarios globales y de investigación. De ahí que en nuestro ejercicio se tengan en cuenta tres niveles de inglés (nativo, alto y bajo), definidos en función de la puntuación de cada país, según Education First.
Principales resultadosUn primer resultado relevante es que las elasticidades de los inputs son positivas para todas las posibles posiciones, de forma que, en todos los países, un incremento de los inputs daría lugar a un aumento de los outputs.
Los rendimientos a escala presentan un comportamiento más variado. Entre las posiciones 4 a 600 (aproximadamente) los rendimientos son decrecientes; es decir, para duplicar el output habría que incrementar los inputs en una proporción mayor. Sin embargo, entre las posiciones 600 y 1.000 los rendimientos a escala son crecientes, lo que implica que, para que los sistemas universitarios en estas posiciones dupliquen su output, habría que aumentar los inputs en una proporción menor.
Esto implica que mejorar en las posiciones bajas es relativamente más fácil, pero mejorar en las posiciones altas no resulta tan sencillo, pues necesita de mayores recursos (inputs) en términos relativos.
Respecto al nivel de inglés, las variables dummy de nivel alto y nivel nativo son positivas en todo el recorrido, siendo mayor el coeficiente de nivel nativo que el de nivel alto de inglés. Así, los resultados corroboran que contar con un nivel nativo es una ventaja respecto a tener un nivel alto de inglés, y que un nivel de inglés alto o nativo supone una ventaja comparativa respecto a un nivel bajo.
Nuestros resultados indican que en el Top-300, y suponiendo un mismo nivel de PIB y de Gasto en I+D, un país nativo en inglés obtendría más del doble de output que un país con bajo nivel de inglés.
Lo más interesante del trabajo es analizar los patrones por país en la evolución del ranking de eficiencia generado por nuestra metodología a lo largo de las distintas posiciones en SIR. Por motivos de espacio, en esta entrada sólo mostramos los gráficos para los ocho países con más apariciones en el ranking: Estados Unidos, China, Reino Unido, Alemania, Italia, Francia, España y Corea del Sur. Los gráficos para los 87 países están disponibles en inglés en el trabajo de ITOR y en este enlace en castellano.
Estados Unidos y China tienen una trayectoria similar, parten de posiciones muy ineficientes y llegan a ser de los países más eficientes en las mejores posiciones del SIR.
China, en concreto, se muestra como el más eficiente en el Top-50. Reino Unido se muestra relativamente eficiente en todo el recorrido, mientras que Alemania es poco eficiente en todo el recorrido. Resulta interesante la trayectoria similar de Italia y España siempre en posiciones elevadas en eficiencia salvo en los mejores puestos del SIR.
Resultados para España a partir del ranking SCImago
Para España, los resultados indican que, en los puestos más altos (Top-75), nuestro sistema universitario no se encuentra entre los más eficientes, manteniéndose siempre por debajo del puesto 14. Sin embargo, a partir de la posición 100, España se ubica entre los diez países más eficientes en la mayoría de los casos y, desde el puesto 285 en adelante, se mantiene siempre dentro de los cinco más eficientes. Incluso llega a situarse como el país más eficiente en el tramo 519-564.
Principales conclusionesEn resumen, España tiene un rendimiento alto desde las posiciones más bajas hasta llegar al Top-200. Sin embargo, en los puestos más altos del ranking presenta un rendimiento intermedio en términos de eficiencia.
Los sistemas universitarios de los países pueden variar mucho de posición en el ranking de eficiencia SCImago dependiendo de las distintas posiciones seleccionadas de la clasificación (las más habituales Top-100, Top-200, Top-500 y Top-1000).
Mejor clasificación, más inversiónLo valioso de nuestro ejercicio es que permite estimar la eficiencia para todas las posibles posiciones y no sólo para un umbral escogido de forma discrecional, permitiendo identificar los principales tramos con potencial para su mejora.
Una de las conclusiones más destacadas del ejercicio es que los sistemas universitarios en el tramo 600-1000 del ranking SIR se benefician de rendimientos crecientes a escala. Presentan facilidades para incrementar su desempeño a través de una mayor inversión del país (inputs) en su sistema universitario. Sin embargo, en el tramo 4-600 del ranking se encuentran con rendimientos decrecientes. Por tanto, podría ser interesante reforzar sus estrategias de internacionalización, la relación entre academia e industria, etc. para maximizar su eficiencia.
El dominio del inglés, una ventaja demostradaNuestros resultados, obtenidos a partir del análisis de los datos del ranking SCImago, corroboran que, para las universidades, es una suerte pertenecer a un país nativo en inglés porque refuerza el impacto y la visibilidad de su investigación en general, y en particular en los rankings internacionales. Este hecho se ha venido señalando (o denunciando) desde hace más de dos décadas por dos grandes expertos mundiales en Educación Superior, Philip Altbach y Ellen Hazelkorn. Es importante señalar que los desarrollos recientes en aplicaciones de lenguaje impulsadas por la Inteligencia Artificial (por ejemplo, ChatGPT, Copilot, etc.) podrían ayudar a cerrar esta brecha.
El caso de EspañaEl impacto futuro de la IA en el desempeño académico de las instituciones de Educación Superior es un área que merece mayor investigación.
En el caso concreto de España, podemos decir que contamos con un sistema universitario relativamente homogéneo (desde una perspectiva macro), con diferencias entre universidades, influidas por las diferencias socioeconómicas regionales internas. Este nivel de homogeneidad, reflejado en términos de eficiencia en nuestro estudio, constituye a nuestro juicio una de las fortalezas del sistema, garantizando un muy buen nivel de servicio público medio y de cercanía, como se ha mostrado en este post, publicado el pasado mes de octubre.
Para acabarLa visibilidad y competitividad internacional de nuestro sistema universitario es mejorable, algo de lo que la clase política es consciente desde hace más de una década.
A modo de ejemplo, el objetivo inicial del Programa Campus de Excelencia Internacional (antes de que este objetivo se diluyera) era precisamente el de constituir unas pocas universidades de clase mundial. El objetivo de este programa fue mejorar la visibilidad y la competitividad internacional del sistema a través de los rankings. Por otra parte, de lo que no cabe duda es de que las inversiones para mejorar el nivel de inglés de la población (científica) darían lugar a mejoras en este sentido.
