Mostrando entradas con la etiqueta Rankings. Mostrar todas las entradas
Mostrando entradas con la etiqueta Rankings. Mostrar todas las entradas

jueves, 20 de marzo de 2025

El ranking de SCImago: habrá sorpresas con España

Publicado en blog Universídad. Una conversación pública sobre la universidad
https://www.universidadsi.es/el-ranking-de-scimago-habra-sorpresas-con-espana/




El ranking de SCImago: habrá sorpresas con España


El ranking de SCImago por área y la eficiencia de los sistemas universitarios 

Repasando la nutrida blogoteca de univerdad, descubrimos que, hace unos años, Xavier Grau publicó un post titulado “3ª lección: los rankings también ordenan sistemas universitarios”. El autor abogaba entonces por el uso de los rankings para ordenar sistemas universitarios, es decir, para decidir qué sistemas a nivel de país son mejores, pero también cuáles son peores.

En nuestro post damos un paso más allá, utilizando esos rankings internacionales para analizar la eficiencia de los diferentes sistemas universitarios.

En concreto, revisamos un trabajo que acabamos de publicar en la revista International Transactions in Operational Research (ITOR) junto con Daniel Solís (Florida A&M University) y María Moraga-Fernández (Université Paris 1 Panthéon‐Sorbonne).

En este artículo se clasifican los sistemas universitarios de 87 países de todo el mundo en función de su eficiencia, usando el SCImago Institutions Rankings (SIR), que ordena las universidades en función de su producción e impacto científico. Para ello se usa la metodología de frontera estocástica, que permite calcular el nivel de eficiencia de una unidad (sistema universitario en nuestro caso) si se conocen sus inputs (recursos), su(s) output(s) (resultados), así como posibles variables de entorno.

No olvidemos que las universidades son unidades de producción multi-input y multi-output (en especial las públicas), y que su desempeño está influenciado por las condiciones (socioeconómicas, legales, operacionales, etc.) de su entorno.

Los rankings como medida de output

Los estudios que utilizan rankings de universidades como medida de output suelen centrarse en clasificaciones generales, ignorando las grandes diferencias de la labor universitaria por área de conocimiento (por ej., Economía, Medicina, Física, etc.). En este trabajo, para evaluar la eficiencia de los sistemas universitarios usamos los 19 rankings de área del SIR. En concreto, utilizamos como output el número de universidades de cada país que aparecen por debajo de una determinada posición.

Por ejemplo, el valor para España en la posición 20 es de 1, puesto que sólo la Universidad Complutense de Madrid figura entre los 20 primeros puestos (en este caso aparece en el puesto 15 en el área de Odontología). Para el puesto 100, el valor para España sería de 24, pues el Sistema Universitario Español cuenta con 24 universidades en los 100 primeros puestos de cualquiera de las ramas de conocimiento del ranking de SCImago. Éste es el procedimiento seguido para todas las posibles posiciones, desde la cuarta hasta la 1.000, obteniendo una visión completa del desempeño por país. Los estudios previos se han centrado en analizar posiciones específicas, como el puesto 100 o 500, mostrando visiones muy valiosas, pero a nuestro juicio, parciales.

Las universidades vistas desde los inputs

Por otra parte, el input ideal hubiera sido la suma de los presupuestos de las universidades, pero se trata de un dato no disponible (y probablemente no comparable) para la gran variedad de países incluidos en nuestro análisis. De esta manera, se ha optado por usar el PIB y el gasto en I+D de cada país, aproximando así las características del entorno en el que las universidades desempeñan su actividad.

Además, es bien conocido que el dominio perfecto del inglés supone una ventaja comparativa de cara a hacer ciencia (y su divulgación en publicaciones de alto impacto).  Es decir, supone una ventaja ya que hace que los resultados científicos sean más visibles para los rankings universitarios globales y de investigación. De ahí que en nuestro ejercicio se tengan en cuenta tres niveles de inglés (nativo, alto y bajo), definidos en función de la puntuación de cada país, según Education First.

Principales resultados

Un primer resultado relevante es que las elasticidades de los inputs son positivas para todas las posibles posiciones, de forma que, en todos los países, un incremento de los inputs daría lugar a un aumento de los outputs.

Los rendimientos a escala presentan un comportamiento más variado. Entre las posiciones 4 a 600 (aproximadamente) los rendimientos son decrecientes; es decir, para duplicar el output habría que incrementar los inputs en una proporción mayor. Sin embargo, entre las posiciones 600 y 1.000 los rendimientos a escala son crecientes, lo que implica que, para que los sistemas universitarios en estas posiciones dupliquen su output, habría que aumentar los inputs en una proporción menor.

Esto implica que mejorar en las posiciones bajas es relativamente más fácil, pero mejorar en las posiciones altas no resulta tan sencillo, pues necesita de mayores recursos (inputs) en términos relativos.

Respecto al nivel de inglés, las variables dummy de nivel alto y nivel nativo son positivas en todo el recorrido, siendo mayor el coeficiente de nivel nativo que el de nivel alto de inglés. Así, los resultados corroboran que contar con un nivel nativo es una ventaja respecto a tener un nivel alto de inglés, y que un nivel de inglés alto o nativo supone una ventaja comparativa respecto a un nivel bajo.

Nuestros resultados indican que en el Top-300, y suponiendo un mismo nivel de PIB y de Gasto en I+D, un país nativo en inglés obtendría más del doble de output que un país con bajo nivel de inglés.

Lo más interesante del trabajo es analizar los patrones por país en la evolución del ranking de eficiencia generado por nuestra metodología a lo largo de las distintas posiciones en SIR. Por motivos de espacio, en esta entrada sólo mostramos los gráficos para los ocho países con más apariciones en el ranking: Estados Unidos, China, Reino Unido, Alemania, Italia, Francia, España y Corea del Sur. Los gráficos para los 87 países están disponibles en inglés en el trabajo de ITOR y en este enlace en castellano.

Estados Unidos y China tienen una trayectoria similar, parten de posiciones muy ineficientes y llegan a ser de los países más eficientes en las mejores posiciones del SIR.

China, en concreto, se muestra como el más eficiente en el Top-50. Reino Unido se muestra relativamente eficiente en todo el recorrido, mientras que Alemania es poco eficiente en todo el recorrido. Resulta interesante la trayectoria similar de Italia y España siempre en posiciones elevadas en eficiencia salvo en los mejores puestos del SIR.

Resultados para España a partir del ranking SCImago

Para España, los resultados indican que, en los puestos más altos (Top-75), nuestro sistema universitario no se encuentra entre los más eficientes, manteniéndose siempre por debajo del puesto 14. Sin embargo, a partir de la posición 100, España se ubica entre los diez países más eficientes en la mayoría de los casos y, desde el puesto 285 en adelante, se mantiene siempre dentro de los cinco más eficientes. Incluso llega a situarse como el país más eficiente en el tramo 519-564.

En resumen, España tiene un rendimiento alto desde las posiciones más bajas hasta llegar al Top-200. Sin embargo, en los puestos más altos del ranking presenta un rendimiento intermedio en términos de eficiencia.

Principales conclusiones

Los sistemas universitarios de los países pueden variar mucho de posición en el ranking de eficiencia SCImago dependiendo de las distintas posiciones seleccionadas de la clasificación (las más habituales Top-100, Top-200, Top-500 y Top-1000).

Lo valioso de nuestro ejercicio es que permite estimar la eficiencia para todas las posibles posiciones y no sólo para un umbral escogido de forma discrecional, permitiendo identificar los principales tramos con potencial para su mejora.

Mejor clasificación, más inversión

Una de las conclusiones más destacadas del ejercicio es que los sistemas universitarios en el tramo 600-1000 del ranking SIR se benefician de rendimientos crecientes a escala.  Presentan facilidades para incrementar su desempeño a través de una mayor inversión del país (inputs) en su sistema universitario. Sin embargo, en el tramo 4-600 del ranking se encuentran con rendimientos decrecientes. Por tanto, podría ser interesante reforzar sus estrategias de internacionalización, la relación entre academia e industria, etc. para maximizar su eficiencia.

El dominio del inglés, una ventaja demostrada

Nuestros resultados, obtenidos a partir del análisis de los datos del ranking SCImago, corroboran que, para las universidades, es una suerte pertenecer a un país nativo en inglés porque refuerza el impacto y la visibilidad de su investigación en general, y en particular en los rankings internacionales. Este hecho se ha venido señalando (o denunciando) desde hace más de dos décadas por dos grandes expertos mundiales en Educación Superior, Philip Altbach y Ellen Hazelkorn. Es importante señalar que los desarrollos recientes en aplicaciones de lenguaje impulsadas por la Inteligencia Artificial (por ejemplo, ChatGPT, Copilot, etc.) podrían ayudar a cerrar esta brecha.

El impacto futuro de la IA en el desempeño académico de las instituciones de Educación Superior es un área que merece mayor investigación.

El caso de España

En el caso concreto de España, podemos decir que contamos con un sistema universitario relativamente homogéneo (desde una perspectiva macro), con diferencias entre universidades, influidas por las diferencias socioeconómicas regionales internas. Este nivel de homogeneidad, reflejado en términos de eficiencia en nuestro estudio, constituye a nuestro juicio una de las fortalezas del sistema, garantizando un muy buen nivel de servicio público medio y de cercanía, como se ha mostrado en este post, publicado el pasado mes de octubre.

Para acabar

La visibilidad y competitividad internacional de nuestro sistema universitario es mejorable, algo de lo que la clase política es consciente desde hace más de una década.

A modo de ejemplo, el objetivo inicial del Programa Campus de Excelencia Internacional (antes de que este objetivo se diluyera) era precisamente el de constituir unas pocas universidades de clase mundial. El objetivo de este programa fue mejorar la visibilidad y la competitividad internacional del sistema a través de los rankings.  Por otra parte, de lo que no cabe duda es de que las inversiones para mejorar el nivel de inglés de la población (científica) darían lugar a mejoras en este sentido.



sábado, 26 de octubre de 2024

CHINA: investigadores de élite dicen que "no tuvieron más remedio" que cometer faltas de conducta

Publicado en Nature
https://www.nature.com/articles/d41586-024-01697-y?utm_medium=Social&utm_campaign=nature&utm_source=Twitter&s=08#Echobox=1718099290 


Investigadores de élite chinos dicen que "no tuvieron más remedio" que cometer faltas de conducta


Entrevistados anónimos afirman que incurrieron en conductas poco éticas para proteger sus puestos de trabajo, aunque otros afirman que el estudio presenta una visión excesivamente negativa.


Por Smriti Mallapaty


"No tuve más remedio que cometer faltas [de investigación]", admite un investigador de una universidad china de élite. Esta sorprendente revelación se recoge en una colección de varias docenas de entrevistas anónimas en profundidad que ofrecen testimonios de primera mano de investigadores que han incurrido en conductas poco éticas y describen lo que les llevó al límite. Un artículo basado en estas entrevistas se publicó en abril en la revista Research Ethics (1)


El entrevistador, el sociólogo Zhang Xinqu, y su colega Wang Peng, criminólogo, ambos de la Universidad de Hong Kong, sugieren que los investigadores se sentían obligados, e incluso alentados, a incurrir en conductas poco éticas para proteger sus puestos de trabajo. Esta presión, concluyen, procedía en última instancia de un programa chino para crear universidades reconocidas en todo el mundo. El programa impulsó a algunas instituciones chinas a fijarse ambiciosos objetivos de publicación, afirman. 


El artículo ofrece "un atisbo del dolor y la culpa que sentían los investigadores" cuando incurrían en conductas poco éticas, afirma Elisabeth Bik, investigadora y asesora de imágenes científicas en San Francisco (California). 


Sin embargo, otros investigadores afirman que los resultados ofrecen una imagen excesivamente negativa del programa chino. Zheng Wenwen, responsable de integridad de la investigación en el Instituto de Información Científica y Técnica de China, dependiente del Ministerio de Ciencia y Tecnología, en Pekín, afirma que el tamaño de la muestra es demasiado pequeño para extraer conclusiones fiables. El estudio se basa en entrevistas con personal de sólo tres institutos de élite, a pesar de que en la actualidad más de 140 instituciones forman parte del programa de creación de universidades y disciplinas de investigación competitivas a escala internacional.


Los rankings, un juego


En 2015, el Gobierno chino introdujo la Iniciativa Doble Primera Clase para establecer universidades y disciplinas de "talla mundial". Las universidades seleccionadas para ser incluidas en el programa reciben financiación extra, mientras que las que obtienen malos resultados corren el riesgo de ser excluidas de la lista, afirma Wang.


Entre mayo de 2021 y abril de 2022, Zhang realizó entrevistas virtuales anónimas a 30 profesores y 5 estudiantes de ciencias naturales de tres de estas universidades de élite. Entre los entrevistados había un presidente, decanos y jefes de departamento. Los investigadores también analizaron documentos internos de las universidades.


Los responsables universitarios entrevistados en los tres institutos afirmaron que entendían que era responsabilidad suya interpretar los objetivos del programa Doble Primera Clase. Decidieron que, para permanecer en el programa, sus universidades debían mejorar su posición en los rankings internacionales y que, para ello, sus investigadores debían publicar más artículos en revistas internacionales indexadas en bases de datos como el Science Citation Index. 


Algunas universidades trataban los rankings universitarios mundiales como un "juego" que había que ganar, afirma Wang.


A medida que la directiva descendía en la jerarquía institucional, aumentaba la presión por el rendimiento en esos institutos. Los departamentos universitarios fijaron criterios de publicación específicos y difíciles de alcanzar para que los académicos obtuvieran ascensos y titularidades.


Algunos investigadores admitieron haber incurrido en prácticas de investigación poco éticas por miedo a perder su empleo. En una entrevista, el director de una facultad dijo: "Si alguien no puede cumplir los criterios [relativos a las publicaciones], le sugiero que se vaya cuanto antes".


Zhang y Wang describen a investigadores que recurren a servicios para que escriban sus artículos por ellos, falsifican datos, plagian, explotan a estudiantes sin ofrecerles la autoría y sobornan a directores de revistas.


Uno de los entrevistados admitió haber pagado por acceder a un conjunto de datos. "Compré el acceso a un archivo oficial y alteré los datos para apoyar mis hipótesis".


Un decano adjunto subrayó la primacía del objetivo de publicar. «No debemos ser excesivamente estrictos a la hora de identificar y castigar las faltas de ética investigadora, ya que dificultan la eficacia investigadora de nuestros becarios».


Eso no es todo


Los autores «dan en el clavo» al describir la relación entre la presión institucional y la mala conducta investigadora, afirma Wang Fei, que estudia la política de integridad de la investigación en la Universidad Tecnológica de Dalian.



*************************

  • NEWS

  • 11 June 2024

Elite researchers in China say they had ‘no choice’ but to commit misconduct

Anonymous interviewees say they engaged in unethical behaviour to protect their jobs — although others say study presents an overly negative view.

“I had no choice but to commit [research] misconduct,” admits a researcher at an elite Chinese university. The shocking revelation is documented in a collection of several dozen anonymous, in-depth interviews offering rare, first-hand accounts of researchers who engaged in unethical behaviour — and describing what tipped them over the edge. An article based on the interviews was published in April in the journal Research Ethics1.

The interviewer, sociologist Zhang Xinqu, and his colleague Wang Peng, a criminologist, both at the University of Hong Kong, suggest that researchers felt compelled, and even encouraged, to engage in misconduct to protect their jobs. This pressure, they conclude, ultimately came from a Chinese programme to create globally recognized universities. The programme prompted some Chinese institutions to set ambitious publishing targets, they say.  

The article offers “a glimpse of the pain and guilt that researchers felt” when they engaged in unethical behaviour, says Elisabeth Bik, a scientific-image sleuth and consultant in San Francisco, California. 

But other researchers say the findings paint an overly negative picture of the Chinese programme. Zheng Wenwen, who is responsible for research integrity at the Institute of Scientific and Technical Information of China, under the Ministry of Science and Technology, in Beijing, says that the sample size is too small to draw reliable conclusions. The study is based on interviews with staff at just three elite institutes — even though more than 140 institutions are now part of the programme to create internationally competitive universities and research disciplines.  

Rankings a game

In 2015, the Chinese government introduced the Double First-Class Initiative to establish “world-class” universities and disciplines. Universities selected for inclusion in the programme receive extra funding, whereas those that perform poorly risk being delisted, says Wang.

Between May 2021 and April 2022, Zhang conducted anonymous virtual interviews with 30 faculty members and 5 students in the natural sciences at three of these elite universities. The interviewees included a president, deans and department heads. The researchers also analysed internal university documents. 

The university decision-makers who were interviewed at all three institutes said they understood it to be their responsibility to interpret the goals of the Double First-Class scheme. They determined that, to remain on the programme, their universities needed to increase their standing in international rankings — and that, for that to happen, their researchers needed to publish more articles in international journals indexed in databases such as the Science Citation Index.

Some universities treated world university rankings as a “game” to win, says Wang.

As the directive moved down the institutional hierarchy, pressure to perform at those institutes increased. University departments set specific and hard-to-reach publishing criteria for academics to gain promotion and tenure.

Some researchers admitted to engaging in unethical research practices for fear of losing their jobs. In one interview, a faculty head said: “If anyone cannot meet the criteria [concerning publications], I suggest that they leave as soon as possible.”

Zhang and Wang describe researchers using services to write their papers for them, falsifying data, plagiarizing, exploiting students without offering authorship and bribing journal editors.

One interviewee admitted to paying for access to a data set. “I bought access to an official archive and altered the data to support my hypotheses.”  

An associate dean emphasized the primacy of the publishing goal. “We should not be overly stringent in identifying and punishing research misconduct, as it hinders our scholars’ research efficiency.”

Not the whole picture

The authors “hit the nail on the head” in describing the relationship between institutional pressure and research misconduct, says Wang Fei, who studies research-integrity policy at Dalian University of Technology.   

But she says it’s not the whole picture. Incentives to publish high-quality research are part of broader reforms to the higher-education system that “have been largely positive”. “The article focuses almost exclusively on the negative aspects, potentially misleading readers into thinking that Chinese higher education reforms are severely flawed and accelerating research misconduct.”

Tang Li, a science- and innovation-policy researcher at Fudan University in Shanghai, agrees. The first-hand accounts are valuable, but the findings could be biased, she says, because those who accepted the interview might have strong feelings and might not represent the opinions of those who declined to be interviewed.

Zheng disagrees with the study’s conclusions. In 2020, the government issued a directive for Double First-Class institutes. This states specifically that evaluations should be comprehensive, and not just focus on numbers of papers, she says. Research misconduct is a result not of the Double First-Class initiative, but of an “insufficient emphasis on research integrity education”, says Zheng.

Punishing misconduct

The larger problem, says Xiaotian Chen, a library and information scientist at Bradley University in Peoria, Illinois, is a lack of transparency and of systems to detect and deter misconduct in China. Most people do the right thing, despite the pressure to publish, says Chen, who has studied research misconduct in China. The pressure described in the paper could just be “an excuse to cheat”.

The Chinese government has introduced several measures to crack down on misconduct, including defining what constitutes violations and specifying appropriate penalties. They have also banned cash rewards for publishing in high-impact journals.

Wang Peng says that government policies need to be more specific about how they define and punish different types of misconduct.

But Zheng says that, compared with those that apply in other countries, “the measures currently taken by the Chinese government to punish research misconduct are already very stringent”.

The authors also ignore recent government guidance for elite Chinese institutions to break with the tendency of evaluating faculty members solely on the basis of their publications and academic titles, says Zheng.

Tang points out that the road to achieving integrity in research is long. “Cultivating research integrity takes time and requires orchestrated efforts from all stakeholders,” she says.

And the pressure to publish more papers to drive up university rankings “is not unique to China”, says Bik. “Whenever and wherever incentives and requirements are set up to make people produce more, there will be people ‘gaming the metrics’.”

doi: https://doi.org/10.1038/d41586-024-01697-y

ReferencesZhang, X. & and Wang, P. Res. Ethics https://doi.org/10.1177/17470161241247720 (2024).

PAÍSES BAJOS: universidades van a la huelga por los recortes de austeridad

Publicado en University World News https://www.universityworldnews.com/post.php?story=20250306130546973 Las universidades planean una huelga...