Publicado en Investiga. Monográficos sobre investigación no. 42 (2023) - Biblioteca de la Universidad de Sevilla
DORA: 10 años por el cambio en la evaluación científica
Introducción
En diciembre de 2012, durante la Reunión Anual de la American Society for Cell Biology en San Francisco, se planteó la necesidad de cambiar el mal uso que desde diferentes sectores relacionados con la investigación se estaba dando al Factor de Impacto como métrica de evaluación de la investigación. Seis meses después, en mayo de 2013, esa discusión se plasmaba en una declaración que instaba a agencias de financiación, instituciones, editores, organizaciones que suministran métricas e investigadores a realizar cambios en la evaluación de la investigación mediante una serie de recomendaciones y mejores prácticas: la Declaración de San Francisco sobre Evaluación de la Investigación (Declaration on Research Assessment - - DORA).
Este mes de mayo se cumplen 10 años desde su lanzamiento, en un momento en el que la reforma de la evaluación de la ciencia está de plena actualidad y se suceden las iniciativas en este sentido. En este monográfico haremos un repaso de la Declaración y veremos en qué medida se están planteando sus principios.
Cambios en los modelos de evaluación de la investigación: ¿una necesidad apremiante?
La evaluación de la calidad de la investigación es fundamental a la hora de la financiación de la misma, la promoción académica de los investigadores y es la base de todo el sistema de incentivos y recompensas en el mundo académico. Sobre esta base, es evidente que la forma en que se ha estado llevando a cabo ha influido poderosamente en los hábitos de publicación y producción de la investigación.
Evaluar el desempeño del personal investigador mediante el uso exclusivo de ciertos indicadores bibliométricos y el imperio absoluto del IF (JCR) como indicador estrella de la calidad de la investigación, unido al mayor peso de la dimensión investigadora dentro de la carrera académica, ha provocado una adaptación por parte del personal investigador a la hora de seleccionar el medio de difundir los resultados de su trabajo, el formato en que va a publicar (artículo), e incluso, el enfoque del mismo en detrimento de investigaciones más locales de difícil encaje en las grandes revistas internacionales.
Por otro lado, esta creciente necesidad de publicar ha resultado una magnífica oportunidad de negocio para la industria editorial que, facilitada por la transformación digital, no deja de ofrecer oportunidades de publicar cada vez más rápidamente y con “impacto” garantizado.
En estas circunstancias, publicar se ha convertido en un fin en sí mismo y cada vez se hacen más evidentes las consecuencias que provoca en la ciencia la forma en la que se evalúa y se recompensa.
La necesidad de una reforma en la evaluación de la investigación viene de lejos y han sido muchas las voces alertando de lo inadecuado de los sistemas imperantes, no sólo en España, sino en el resto de Europa. La transformación digital, el surgimiento de un concepto de la ciencia más abierto y colaborativo, más multidisciplinar y diversa en sus resultados ha dado el impulso final a las instituciones europeas y nacionales para trabajar en esta dirección.
DORA: 10 años por el cambio en la evaluación científica
El punto de partida de DORA es que es urgente cambiar la forma en que se evalúa la investigación científica, ya que los parámetros utilizados para esta evaluación a menudo no son precisos y no se ajustan a los productos que se evalúan.
Así, considera que, con frecuencia, la evaluación científica se realiza teniendo en cuenta indicadores basados en la calidad de las revistas, sobre todo el Factor de Impacto que, como hemos visto en el apartado anterior, presenta serias limitaciones para medir la calidad científica de la investigación, de un artículo o de los méritos de un investigador.
Por otra parte, aunque considera que en la actualidad existe una amplia diversidad de productos que muestran resultados de los procesos de la investigación -datos, reactivos, software, propiedad intelectual, etc.- y que algunos de ellos están ganando en importancia, reconoce que el artículo evaluado por pares seguirá siendo fundamental a la hora de evaluar la investigación.
Ante esto, urge a todos los actores implicados en la evaluación de la investigación a mejorar la forma en la que se evalúa la investigación y ofrece una serie de recomendaciones y buenas prácticas.
Como recomendación general y, quizás, más importante, indica que el contenido científico de los artículos es mucho más importante que las métricas que analizan las publicaciones o revistas en las que fue publicada la investigación, por lo que pide a todos los agentes implicados en la investigación que no sustituyan la evaluación de la calidad del artículo individuales por métricas basadas en revistas, como el FI.
“No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.”
DORA considera que es necesario establecer un conjunto de métricas a nivel de artículo que permitan conocer la verdadera aportación de esa investigación, además de evaluar el contenido del artículo en sí mismo. Para ello, además de la recomendación anterior, ofrece una serie de recomendaciones específicas para cada uno de los agentes que intervienen en la evaluación científica. De esas recomendaciones, destacamos las siguientes:
- A las agencias de financiación y a las instituciones de investigación, les recomienda que consideren el valor de otros productos relacionados con la investigación, como los conjuntos de datos o el software, además de los artículos revisados por pares.
- A las editoriales les recomienda reducir el énfasis en el factor de impacto como herramienta promocional o que lo utilicen dentro de una variedad de métricas, tanto basadas en revistas -tales como SJR, EigenFactor o índice H, como otras métricas a nivel de artículo -tales como el Article Influence Score u otras alternativas. Además, les insta a especificar la responsabilidad de cada coautoría en el artículo -como la propuesta CReDIT.
- Al personal investigador le recomienda que se basen en el contenido científico, y no en las métricas de publicación y a utilizar diferentes métricas como evidencia del impacto de la investigación.
Otras recomendaciones van en la línea de eliminar las limitaciones del número de referencias en los artículos, utilizar en la medida de lo posible investigaciones primarias, fomentar la transparencia y promover prácticas que se centren en el valor y la influencia de los resultados de investigación específicos.
El modelo de evaluación que propone DORA, por lo tanto, se podría resumir en lo siguiente:
1. No utilizar las métricas basadas en revistas -especialmente el JIF- cómo única o principal medida a la hora de evaluar un artículo o un investigador.
2. Valorar la calidad del contenido científico de las propias aportaciones.
3. Establecer criterios bien fundamentados y respaldados académicamente para evaluar la investigación.
4. Utilizar un conjunto de indicadores, instando a desarrollar métricas para una mejor evaluación.
5. DORA ofrece recomendaciones y buenas prácticas sobre evaluación de la investigación, para que cada agente busque la mejor manera de aplicarlas.
En conmemoración de los 10 años de la declaración, se ha realizado un llamamiento internacional para impulsar estos principios mediante la realización de eventos en los que se analice el impacto de DORA en la reforma de la evaluación científica y de los desafíos que aún quedan por enfrentar
Otras iniciativas sobre evaluación científica
La Declaración de San Francisco fue uno de los primeros manifiestos públicos en promover la urgencia de realizar cambios en la evaluación de la investigación, pero no fue el primero. En 2010 había aparecido el Manifiesto Almetrics, que ya apuntaba que el FI no era una medida adecuada para evaluar la calidad de un artículo, apuntaba a otros productos de investigación y apostaba por métricas basadas en el que denominaban “impacto social” (altmetrics).
Uno de los que más peso ha tenido en Europa, junto con DORA, es el Manifiesto de Leiden (2014) que, con 10 puntos, coincide con DORA en que la valoración de la calidad la investigación debe basarse en la investigación misma, apoyada por un conjunto de métricas que la complementen y siempre a nivel de lo que se está evaluando. Estos 10 puntos son:
1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.
3. La excelencia en investigación de relevancia local debe ser protegida.
4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.
5. Los datos y análisis deben estar abiertos a verificación por los evaluados.
6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
8. Debe evitarse la concreción improcedente y la falsa precisión.
9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.
10. Los indicadores deben ser examinados y actualizados periódicamente.
Desde entonces, se han producido diferentes llamamientos desde diferentes órganos a cambios en la evaluación científica, especialmente la Comisión Europea, aunque pocos han llegado a concretarse y a tener una aplicación real. Por ello, con la intención de dar pasos concretos hacia la reforma de la evaluación científica europea, en 2021 se inició un procedimiento de consulta en el que participaron más de 350 organizaciones de más de 40 países y que dio como resultado la publicación del Acuerdo europeo sobre la reforma de la evaluación de la investigación en julio de 2022. El acuerdo incluye los principios, los compromisos y el calendario para las reformas, y establece los principios para una alianza de organizaciones, Coalición por la Evaluación de la Investigación Avanzada (CoARA) que quieran trabajar juntas en la aplicación de los cambios. Estos compromisos son:
1. Reconocer la diversidad de las contribuciones según la naturaleza de la investigación.
2. Basar la evaluación en elementos cualitativos apoyados en el uso responsable de las métricas.
3. Abandonar el uso inapropiado de métricas de revistas como el JCR.
4. Evitar el uso de rankings de instituciones para la evaluar la investigación.
5. Destinar los recursos necesarios para reformar la evaluación.
6. Revisar y desarrollar criterios de evaluación, herramientas y procesos.
7. Aumentar la concienciación sobre la necesidad de reformar la evaluación y proporcionar transparencia, guía, formación sobre criterios y procesos de evaluación.
Los firmantes se comprometen a basar la evaluación de la investigación principalmente en un juicio cualitativo en el que la revisión por pares es primordial y queda respaldado por un uso responsable de indicadores cuantitativos. Este compromiso supone iniciar el proceso de revisión o desarrollo de criterios y herramientas alineados con el acuerdo durante 2023 y tenerlo desarrollado completamente a finales de 2027.
La reforma de la evaluación de la investigación en España
En España no han faltado voces reclamando reformas en los procesos de evaluación siguiendo la línea establecida por DORA o Leiden. No obstante, es ahora cuando estamos empezando a vislumbrar una voluntad real por parte de las autoridades y llega determinada por el impulso de la Comisión Europea.
DORA ha sido firmada por 176 instituciones, entre las que se encuentran la Agencia Estatal de Investigación y la propia Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). En el caso de esta última, su reciente adhesión -el pasado mes de abril de 2023- supone un replanteamiento de la evaluación de la investigación en España, que a día de hoy sigue muy condicionada por el Factor de Impacto, a pesar de que ANECA ya había firmado el Acuerdo de Leiden en 2021 y de que en los Principios y directrices para la actualización de criterios de evaluación de la investigación que publicó ese mismo año ya se comprometía a "complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos y/o cualitativos”. No obstante, aunque con buena voluntad, estas medidas no reflejaban con decisión los principios de Leiden y, mucho menos, de DORA.
Hay que recordar también que el Tribunal Supremo, en las sentencias de 16 de julio de 2020, recurso de casación núm. 2719/2018, y de 12 de junio de 2018, recurso de casación núm. 1281/2017, en relación a las aportaciones presentadas a evaluación ya afirmaba que “es el trabajo –la aportación– no la publicación” lo que debe valorarse.
Estos principios se han ido plasmando en la actualización y reforma del marco legislativo español. La nueva Ley Orgánica del Sistema Universitario, en su artículo 69, especifica además que la acreditación a los cuerpos docentes debe garantizar una a evaluación tanto cualitativa como cuantitativa de los méritos e incluso menciona de forma específica que esa evaluación deberá realizarse “con una amplia gama de indicadores de relevancia científica e impacto social”. De hecho, en el borrador del nuevo Real Decreto por el que se regulará la acreditación se establece la necesidad de integrar las orientaciones del movimiento internacional de reforma de la evaluación de la investigación en Europa promovida por la Comisión Europea y materializada en COARA, estableciendo el reconocimiento de una mayor pluralidad de contribuciones y carreras investigadoras, así como que los criterios de evaluación se centrarán en valorar la calidad de la investigación mediante el “empleo de métodos cualitativos, con el apoyo de un uso responsable de indicadores cuantitativos”.
Y en esta misma línea se muestra la recién publicada Estrategia Nacional de Ciencia Abierta (ENCA), que en la línea D3, “Adecuación de los procesos de evaluación del mérito docente, investigador y de transferencia a los parámetros de la ciencia abierta” se especifica que "se disminuirá de forma progresiva el uso de indicadores bibliométricos cuantitativos relacionados con el impacto de las revistas […] en la evaluación de méritos curriculares del personal investigador, incorporándose paulatinamente indicadores cualitativos” y que “se promoverá el uso de criterios de mérito basados en la importancia de las aportaciones científico-técnicas y su contenido”.
Finalmente, el pasado 12 de mayo ANECA, CRUE y CSIC presentaron una propuesta conjunta de participación en COARA, con el objetivo de crear un espacio colaborativo propio (Spanish Chapter) en el que intercambiar ideas y desarrollar debates y consensos que ayuden a la reforma y mejora de la evaluación en el contexto español. Esperemos que la propuesta tenga éxito y suponga un decidido avance en la reforma de la evaluación de la ciencia en nuestro país.
