Publicado en DORA
https://sfdora.org/2021/12/22/2021-in-review/
2021 en revisión: Lista de nuevos desarrollos en la evaluación de la investigación
22 DE DICIEMBRE DE 2021
Cada año, DORA reflexiona sobre los avances en la evaluación responsable de la investigación. ¿Cómo se valora la investigación en las distintas comunidades y cómo puede haber cambiado en 2021? ¿Qué herramientas está creando la comunidad para apoyar el desarrollo de políticas? ¿Qué tipos de políticas de evaluación de la investigación se están desarrollando para reducir la influencia de las métricas basadas en las revistas y reconocer una amplia gama de contribuciones? ¿Cómo se están uniendo las comunidades para mejorar la práctica y apoyar el cambio de cultura?
La siguiente lista de novedades y de lecturas, visionados y escuchas recomendadas se elaboró con las aportaciones del Comité Directivo del DORA. Aunque la búsqueda ha sido amplia, no ha sido exhaustiva, y es posible que se nos haya pasado algo por alto en el proceso. Por favor, díganos qué otros avances deberíamos considerar añadir a la biblioteca de recursos (correo electrónico info@sfdora.org).
Nuevos desarrollos
De DORA
Este verano, DORA recibió una subvención de 1,2 millones de dólares durante 3 años de Arcadia -un fondo benéfico de Lisbet Rausing y Peter Baldwin- para apoyar Tools to Advance Research Assessment (TARA), un proyecto para facilitar el desarrollo de nuevas políticas y prácticas para la evaluación de la carrera académica. La subvención proporciona a DORA un apoyo crucial para crear un tablero interactivo en línea, un conjunto de recursos y una encuesta de instituciones académicas estadounidenses.
El cuadro de mandos tiene como objetivo captar los avances en la evaluación responsable de la investigación y ofrecer una contraposición a las medidas de éxito habituales (por ejemplo, el factor de impacto de las revistas (JIF), el índice H y las clasificaciones de las universidades). Dos convocatorias de la comunidad en otoño ayudaron a dar forma a la visión del cuadro de mando, identificando los contextos de uso y proporcionando información en la fase inicial sobre su funcionalidad y los tipos de material fuente pertinentes.
DORA publicó SPACE, una herramienta para facilitar la reforma de la evaluación académica en las universidades mediante el examen de la infraestructura necesaria para apoyar el desarrollo de nuevas políticas y prácticas. En septiembre se publicó un comentario en el que se exponen las principales enseñanzas extraídas del proceso de diseño y de la fase piloto inicial. ¡Más de 70 personas de 26 países y 6 continentes han contribuido al desarrollo de SPACE!
En colaboración con el Fondo Nacional de Investigación de Luxemburgo, DORA publicó un nuevo vídeo: Balanced, broad, responsible: A practical guide for research evaluators. Este cortometraje va acompañado de un resumen de una página que los financiadores de la investigación pueden utilizar para promover un enfoque más holístico en la evaluación de las propuestas de financiación.
DORA organizó en septiembre un taller para financiadores de la investigación con la Comunidad de Práctica de Organizaciones Financieras para la Igualdad de Género (FORGEN CoP) centrado en la optimización del uso de los CV narrativos para la evaluación de subvenciones y la mitigación de los sesgos. Participaron más de 120 personas de 22 países y 40 organizaciones de financiación. Como siguiente paso, DORA está organizando un taller para financiadores en febrero de 2022 con la CoP FORGEN, la Fundación Científica de Irlanda, la Fundación Nacional Suiza para la Ciencia y la Investigación e Innovación del Reino Unido para explorar un enfoque compartido para supervisar la eficacia de los CV narrativos para la evaluación de subvenciones.
Reimagining Academic Career Assessment: Stories of innovation and change, una colección de estudios de casos de universidades y consorcios nacionales que examinan su trabajo para desarrollar nuevas políticas y prácticas, fue publicada a finales de 2020 por DORA, la Asociación Europea de Universidades y SPARC Europa. En enero, las tres organizaciones publicaron un documento político en el que se analizaba el conjunto inicial de estudios de casos. En 2021, DORA añadió tres nuevos estudios de casos: el Foro Latinoamericano de Evaluación de la Investigación (FOLEC)/Latin American Forum for Research Assessment (FOLEC), European Molecular Biology Laboratory (EMBL), el European Molecular Biology Laboratory (EMBL) y la Open University in the United Kingdom. Los miembros de la comunidad se unieron a nosotros en los seminarios web celebrados en febrero y diciembre para escuchar a las organizaciones de los estudios de caso y conocer los elementos específicos de sus procesos de cambio.
De otros lugares
Las organizaciones de financiación siguen adoptando y optimizando el uso de formatos de CV narrativos para la evaluación de subvenciones con el fin de reconocer una gama más amplia de logros de investigación. Por ejemplo:
El Fondo Nacional de Investigación de Luxemburgo (Luxembourg National Research Fund) introdujo en enero un formato de CV narrativo para todos los programas de financiación en los que se solicita un CV.
En julio, siete organismos de financiación de la investigación del Reino Unido se comprometieron públicamente a estudiar un enfoque compartido para la adopción del Résumé for Researchers, un formato de CV narrativo desarrollado por la Royal Society.
El Consejo de Investigación Sanitaria (Health Research Board) de Irlanda está mejorando de forma iterativa el uso de los CV narrativos a través de los comentarios sistemáticos de los solicitantes y los evaluadores.
El Grupo de Armonización de CV (CV Harmonization Group - H-group) inspiró diez recomendaciones para mejorar el contenido y la estructura de los CV académicos, que se publicaron en octubre.
La Indiana University-Purdue University Indianapolis (IUPUI) creó una vía de promoción y permanencia que reconoce las contribuciones a la diversidad, la equidad y la inclusión, mostrando cómo la evaluación de la investigación puede encapsular los valores de una organización.
El Foro Latinoamericano de Evaluación de la Investigación (FOLEC) dio a conocer nuevas herramientas para apoyar la acción colectiva en favor de la evaluación responsable de la investigación en el continente, visibilizando diversas formas de producción de conocimiento y promoviendo nuevas modalidades de evaluación, así como fomentando la bibliodiversidad y defendiendo el multilingüismo (bibliodiversity and defending multilingualism) en el ámbito académico.
El Consejo Mundial de Investigación creó en septiembre un grupo de trabajo internacional sobre la evaluación responsable de la investigación para ofrecer orientación y apoyo en la incorporación de nuevas políticas y prácticas a sus organizaciones miembros.
El Consejo Holandés de Investigación (NWO) publicó un conjunto de herramientas sobre evaluación inclusiva para revisores y miembros de comités que proporciona información sobre el sesgo implícito y ofrece sugerencias prácticas, basadas en la investigación científica, para optimizar el proceso de evaluación con el objetivo de ampliar "la imagen ideal, a menudo limitada, de lo que es un buen investigador o una buena propuesta". En noviembre, el NWO publicó cuatro entrevistas con solicitantes de subvenciones que habían tenido éxito y que destacaban en sus solicitudes resultados de investigación no tradicionales, enviando un importante mensaje a los investigadores que inician su carrera de que los trabajos publicados en revistas de alto factor de impacto no son necesarios para tener éxito en el mundo académico. Se trata de una estrategia poderosa que las organizaciones de financiación pueden adoptar para señalar que se toman en serio el hecho de no tener en cuenta las métricas basadas en las revistas y de reconocer contribuciones más amplias a la ciencia y la sociedad.
En 2021, China publicó directrices para mejorar el sistema de evaluación de los logros científicos y tecnológicos y acelerar su transformación en fuerzas productivas para la comunidad. Más de 40 universidades e institutos de investigación, hospitales, sociedades, industrias y otras instituciones representativas han sido seleccionadas para pilotar nuevas prácticas de evaluación de la investigación.
La Recomendación de la UNESCO sobre Ciencia Abierta (UNESCO Recommendation on Open Science) fue adoptada por 193 países en noviembre. Como parte de la recomendación, se pide a los Estados miembros que alineen los incentivos para la Ciencia Abierta mediante la revisión de los sistemas de evaluación y valoración y el desarrollo de otros nuevos que se centren en la calidad de los resultados de la investigación y no en la cantidad, y que valoren todas las actividades y resultados relevantes de la investigación.
También en noviembre, la Comisión Europea anunció un plan para crear una coalición de organizaciones (coalition of research funding and research) de financiación y realización de la investigación comprometidas con la aplicación de cambios en las prácticas de evaluación de la investigación.
Un informe de 2021 del Centro Africano para la Transformación Económica (ACET) (report from the African Center for Economic Transformation (ACET)) aconseja a los responsables políticos la importancia de recompensar la colaboración regional en materia de investigación, como el Centro Songhaï de Benín, que "realiza actividades de formación, producción e investigación, combinando métodos modernos y tradicionales".
En abril, la Linguistic Society of America publicó unas recomendaciones para la revisión justa de la beca abierta en la contratación, la titularidad, la promoción y los premios, demostrando cómo las sociedades académicas pueden fomentar y promover la evaluación responsable de la investigación.
Universities Norway publicó NOR-CAM (NOR-CAM – A toolbox for recognition and rewards in academic careers) - A toolbox for recognition and rewards in academic care para que los procesos de evaluación sean más transparentes y predecibles, tanto para los individuos como para las instituciones del país.
El Observatorio Latinoamericano de Indicadores de Evaluación de la Investigación (OLIVA) es un proyecto colaborativo, regional e interdisciplinario para crear un marco común de indicadores para examinar la producción y circulación del conocimiento en América Latina. En 2021, OLIVA continuó desarrollando una base de datos de materiales de artículos de revistas indexadas en SciELO y Redalyc con el objetivo de identificar indicadores de evaluación de la investigación relevantes para la región.
Lecturas, visualizaciones y audiciones recomendadas
Unsettling Knowledge Inequities Podcast
Knowledge Equity Lab and SPARCInoculating Law Schools Against Bad Metrics
Kimberlee Weatherall and Rebecca GiblinAcademic Incentives and Research Impact: Developing Reward and Recognition Systems to Better People’s Lives
Jonathan GrantHalt the H-index: an infographic on problems with the H-index and reasons for integrating other contributions into evaluations
Centre for Science and Technology Studies (CWTS), Leiden UniversityMaking FAIReR assessments possible
Henriikka Mustajoki, Janne Pölönen, Kathleen Gregory, Dragan Ivanović, Valerie Brasse, Joonas Kesäniemi, Elina Koivisto, and Elina PylvänäinenLove DORA, Hate Rankings?
Elizabeth GaddFrom principles to practices: Open Science at Europe’s universities 2020-2021 European University Association Open Science Survey results
Rita Morais, Bregt Saenen, Federica Garbuglia, Stephane Berghmans, and Vinciane GaillardSelling science: optimizing the research funding evaluation and decision process
Claartje Vinkenburg, Carolin Ossenkop, and Helene SchiffbaenkerShaking up the culture of research assessment (webinar)
Open Access AustralasiaHow faculty define quality, prestige, and impact in research
Esteban Morales, Erin McKiernan, Meredith Niles, Lesley Schimanski, Juan Pablo AlperinComment la science ouverte peut faire évoluer les méthodes d’évaluation de la recherche
Olivier PourretThe experimental research funder’s handbook (RoRI Working Paper No.6)
Sandra Bendiscioli, Teo Firpo, Albert Bravo-Biosca, Eszter Czibor, Michele Garfinkel, Tom StaffordTom Stafford, James Wilsdon, and Helen Buckley WoodsTop Twelve Evidence Based DEI Best Practices for Advancing Faculty Diversity
Compiled by the Advancing Faculty Diversity Workgroup, 2020-2021, UC Santa Cruz
*******************************
No hay comentarios:
Publicar un comentario