ESPAÑA: Los investigadores podrán eludir la 'dictadura de los papers' y las revistas científicas

Publicado en elDiario.es
https://www.eldiario.es/sociedad/investigadores-podran-eludir-dictadura-papers-revistas-cientificas_1_10661432.html

Los investigadores podrán eludir la 'dictadura de los papers' y las revistas científicas

La Aneca 'reabre' la ciencia y propone que también se puedan acreditar sexenios de investigación con méritos como patentes, informes, dictámenes, trabajos técnicos o artísticos, exposiciones, catalogaciones o conjuntos de datos, excavaciones arqueológicas o metodologías

Entrevista — Pilar Paneque: “La exigencia de publicar constantemente lleva a un sistema científico de cantidad, no de calidad”

Es posible que nunca antes haya habido tanta expectación por algo con un nombre tan poco atractivo como Resolución de la Comisión Nacional Evaluadora de la Actividad Investigadora por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Pero en este documento, que publica cada año la Aneca (la agencia encargada de evaluar la carrera académica del profesorado) para reconocer sexenios de investigación (periodos de seis años, que otorgan al investigador un bono económico y le permiten prosperar en la academia), está buena parte de la clave para cambiar la ciencia, sumida en una espiral cuantitativa que provoca disfunciones y merma la calidad de la investigación.

La nueva directora de la Aneca había prometido hacerlo para sacar a investigadores y universidades de “la dictadura de los papers" que rige el sistema de producción de ciencia. Del temido (y odiado) factor de impacto de las revistas. Este lunes se ha publicado por fin el borrador de la resolución, que además por primera vez sale a consulta pública, (hasta el 19 de noviembre). Y que avanza hacia ese cambio admitiendo nuevos formatos y nuevos soportes como méritos de investigación reconocibles más allá del artículo. Como ya recogía una orden de 1994, hoy olvidada.

Dice el texto: “Se amplía (...) el abanico de aportaciones y posibles medios de difusión que pueden justificar una actividad investigadora durante el periodo evaluado”. Y enumera nuevos posibles soportes: “Publicaciones, patentes, informes, estudios, dictámenes, trabajos técnicos, trabajos artísticos, exposiciones, excavaciones arqueológicas, catalogaciones, etc.”. Añade la Aneca que ante “la situación general de la ciencia en España (...) pueden justificar actividad investigadora los conjuntos de datos, las metodologías y el código de las aplicaciones informáticas desarrolladas”.

Esto quiere decir que la Aneca dejará de valorar exclusivamente como mérito los artículos científicos, donde únicamente se tiene en cuenta la revista de publicación como indicador de la calidad del paper en cuestión. El sistema ya fue así, pero se fue restringiendo con el paso de los años para acabar centrado exclusivamente en las revistas (más cómodo para el evaluador, que solo tenía que ver dónde se publicaba un artículo para valorarlo). Con esta nueva orden, que pedía la comunidad científica, se armoniza la evaluación con la acreditación para ser profesor universitario, abierta ahora al software, la creación artística o los congresos, entre otros nuevos méritos.

“Se realiza un reajuste en la combinación de los métodos cualitativos y los indicadores cuantitativos utilizados para la valoración de las aportaciones presentadas”, sostiene el borrador de resolución.

Otro aspecto novedoso de la propuesta de la Aneca es que “los resultados de la investigación (...) estén disponibles en acceso abierto, cuyo acceso gratuito y libre debe fomentarse mediante el desarrollo de repositorios institucionales o temáticos de acceso abierto, propios o compartidos”. Actualmente, si las revistas donde se publica son de acceso abierto es porque el investigador ha pagado previamente; si no, se paga por leer. Pero alguien suele pagar, y en ocasiones se hace dos veces. En España, en la inmensa mayoría de los casos es siempre dinero público. También es habitual colgar los trabajos en repositorios de acceso restringido (como ResearchGate o Academia)

Entre las novedades de la propuesta de la Aneca de este año está también la creación de un nuevo campo de conocimiento (los sexenios se entregan por áreas) que será interdisciplinar para la actividad investigadora de carácter más transversal y difícil de cuadrar en un campo concreto.

Sin ruptura con lo anterior

Pero el texto tampoco supone una ruptura completa –los sexenios de investigación afectan a un periodo de seis años y no se pueden cambiar las normas de juego a mitad de la partida, según defiende Paneque–, por lo que la resolución mantiene también la estructura anterior: publicar en las revistas que el “ecosistema científico” ha decidido que son las más relevantes (las que más se citan en el sector) sigue siendo un mérito en sí mismo (es la revista la que hace la criba: una vez publicado, se da por bueno que el artículo es de calidad), aunque tampoco será exactamente igual porque habrá que justificar la publicación, como explica la bibliotecaria Amelia López en este hilo.

Uno de los principales problemas que provoca este método, llevan años advirtiendo los expertos, es la deriva que ha sufrido el sector en los últimos años: de pagar por leer, los investigadores han pasado a pagar por publicar, lo que ha generando un mercado de revistas que publican casi todo porque, para ellas, publicar es ganar dinero. También ha provocado que se haga investigación solo para publicar y acumular méritos, según han detectado algunos estudios, sin aportar nada realmente novedoso a la ciencia.

Tras los pasos de Dora y Coara

El movimiento de la Aneca sigue las últimas recomendaciones internacionales, que proponen realizar cambios en la manera en que se evalúa la producción científica. “Aconseja integrar ya en esta convocatoria las orientaciones del movimiento internacional de reforma de la evaluación de la investigación, al que se ha incorporado Aneca en este año 2023 a través de su adhesión a la San Francisco Declaration on Research Assessment (DORA) y a los acuerdos y principios de la Coalition for Advancing Research Assessment (CoARA). En los diversos campos y subcampos de evaluación esto se concreta, conforme a las reglas aplicables a cada disciplina científica, en la solicitud de una narración justificativa de los indicios de relevancia e impacto de cada aportación (métodos cualitativos), apoyados por un uso responsable de indicadores cuantitativos”, explica la agencia.

El texto propone que cada investigador justifique el impacto de su aportación cuando esta se produzca fuera del ecosistema de las revistas tradicionales. También en ellas, de hecho. Esta práctica se realizará por el momento a través de las “aportaciones extraordinarias” que, como su nombre indica, habitualmente han de ser escasas o especiales, pero que este año –o en el ínterin que dure la transición hacia el nuevo sistema– se aceptará con carácter general.

El proceso de evaluación de los méritos presentados, con “criterios y metodologías de evaluación cualitativas y cuantitativas”, tomará como referencia “la narrativa aportada por la persona solicitante en los 'indicios de relevancia e impacto' de cada aportación”, explica el texto. Y pone ejemplos: “Se defenderá el impacto científico de la aportación a través de citas recibidas contextualizadas excluyendo autocitas, de su proyección internacional, de los proyectos nacionales o internacionales que han financiado la investigación o que se han derivado de ella, de los premios recibidos, de las traducciones de la obra, entre otros; y/o la contribución de dicha aportación a la generación de impacto social evidenciado, por ejemplo, a través de aportaciones al diseño e implementación de políticas públicas, contribución al desarrollo de productos y servicios o cualquier otro aspecto que se considere relevante”. Y se recomienda hacer un “uso responsable de indicadores cuantitativos (indicadores bibliométricos normalizados, entre otros)”, en alusión al sistema de revistas.

Según el borrador, que incluye un apéndice con varios cuadros para explicar el nuevo sistema, se permitirán las clásicas métricas de citación, pero también de uso y lectura (volumen de descargas, visualizaciones o visitas), las métricas de influencia o adopción social (menciones a fuentes externas del ámbito académico) y métricas de visibilidad social (plataformas sociales en línea, “preferentemente académicas y especializadas”). También se informa de que se valorará la difusión de las aportaciones en abierto o compartir datos brutos, metodologías, etc. “de forma abierta y transparente”.

Políticas nacionales de ciencia y tecnología y evaluación científico-académica ¿no deberían ir de la mano?

Políticas nacionales de ciencia y tecnología y evaluación científico-académica ¿no deberían ir de la mano?

video: "The research counts, not the journal"

Viviana Martinovich
Editora ejecutiva, revista científica Salud Colectiva; directora editorial, colección de libros Cuadernos del ISCo; docente-investigadora, Instituto de Salud Colectiva, Universidad Nacional de Lanús.

12 de julio de 2023 | Ciencia Propia https://cienciapropia.com.ar/evaluacion-cientifico-academica

Durante más de 200 años, las revistas científicas han sido el dispositivo central del diálogo integrador y cosmopolita de las ciencias. Pero desde la segunda mitad del siglo XX, gobiernos de distintas latitudes y colores políticos adoptaron ciertas reglas del libre mercado creadas por grandes monopolios industriales, y asociaron la evaluación de la producción escrita de las ciencias a indicadores de “calidad” científica creados a medida para asegurar el primado del complejo científico-industrial de países industrializados, por lo que el artículo científico y, por ende, las propias investigaciones se tornaron moneda de cambio para un ascenso meritocrático, y se distanciaron de las políticas nacionales de ciencia y tecnología. En este contexto, diversas instituciones y países –como China, Francia y la Comisión Europea– comenzaron a promover el abandono de los indicadores de citación corporativos para privilegiar las agendas científicas nacionales y el impacto social de las investigaciones. ¿Qué posición van a adoptar los gobiernos de los países de América Latina? ¿Seguirán escuchando al ala más conservadora de la comunidad científica?

Que estamos en un momento de cambios, no hay duda. Hacia dónde va el cambio, está por verse. Pero lo cierto es que universidades, sociedades científicas, organismos de financiamiento, directoras y directores de revistas científicas, de más de 140 países se han proclamado en contra de los actuales sistemas de evaluación de las ciencias y adhirieron a la Declaración de San Francisco sobre la evaluación de la investigación (DORA) (1), que considera que “el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado”. ¿Qué significa esto?

Cuando una investigadora o un investigador se presentan a alguna de las tantas instancias de evaluación, por ejemplo, para obtener una beca, ingresar a un doctorado, obtener fondos para una investigación o conseguir una promoción dentro de la carrera de investigación, uno de los ítems que más peso tiene en gran parte de los países del mundo son los artículos que publicó y en qué revistas publicó esos trabajos. 

Pero esto no es nuevo: a lo largo de varios siglos, el artículo científico fue un elemento central del sistema de comunicación de las ciencias y, además, una carta de presentación. En Argentina, por ejemplo, en la década de 1870, cuando Sarmiento le pidió al naturalista alemán Germán Burmeister que use sus contactos para traer profesores de Alemania, al presentar el listado de potenciales profesores, enumeró los artículos que cada uno de ellos habían publicado en revistas científicas de la época.

Esta práctica no es la que está en cuestionamiento. Lo que está en discusión es la intromisión de la lógica de mercado en la estratificación de las ciencias a través de indicadores de “calidad” científica, que comienzan a imponerse luego de la Segunda Guerra Mundial (2). Durante los últimos 70 años, un puñado de corporaciones consolidaron un engranaje financiado por las grandes industrias químicas, alimentarias, farmacéuticas, etc., para validar científicamente sus productos a través de ciertas revistas consideradas “internacionales”, de manera que las revistas editadas por fuera de ese esquema industrial quedaran en el imaginario colectivo como revistas “emergentes” o “nacionales”, asignándole a la palabra “nacional” un carácter altamente peyorativo (3). 

Estados fuertes y débiles, Estados ricos y pobres, nortes y sures, gobiernos de derecha y gobiernos progresistas, todos compraron un esquema de evaluación basado en indicadores definidos por las mismas corporaciones que obtenían grandes ganancias, lo que fomentó un modelo de ciencia jerárquico, individualista, altamente competitivo y mercantilista. La política científica mundial parecía seguir las reglas del libre mercado y operar exclusivamente con indicadores de “calidad” científica creados a medida para asegurar el primado de un puñado de compañías, sin ningún tipo de intervención de las políticas estatales en ciencia y tecnología de cada país. 

Hace varios años atrás, decíamos que el movimiento de acceso abierto tenía la potencialidad de restituir la dimensión política al interior de un campo científico altamente mercantilizado (4). Y eso es lo que comenzó a ocurrir: esas prácticas, que fueron sostenidas y avaladas por gran parte de la comunidad científica durante años, comenzaron a ser cuestionadas fuertemente desde su núcleo central. Premios Nobel como Joseph Goldstein, Peter Doherty, Paul Nurse, Bruce Beutler (5), o Randy Schekman (6), expresaron públicamente los efectos nocivos de la competencia por las métricas; instituciones como el Consejo de Investigación del Reino Unido, la Organización Europea de Biología Molecular, la Sociedad Americana de Microbiología, la Unión Matemática Internacional (7), Wellcome Trust, entre tantas otras, comenzaron a hacer público su rechazo.

Si bien los cimientos habían comenzado a resquebrajarse, no se lograban imprimir cambios en las instancias de decisión política, que seguían relegando la toma de decisiones en manos del sector más conservador de la comunidad científica.

Sin embargo, desde que China publicó las nuevas políticas de financiación y evaluación de la investigación (8), como efecto cascada, varios países europeos y entidades que representan a la Unión Europea han seguido su camino y han decidido romper con los criterios de evaluación utilizados hasta el momento, para comenzar a delinear políticas más sustentables en términos económicos, que mejoren las formas en que se evalúan los resultados de investigación académica haciendo un esfuerzo por múltiples vías para hacer que la investigación sea más diversa, plural, transparente, cooperativa y colaborativa. 

Como señalan Shu, Liu y Larivière, China en la década de 1990 había apostado a crecer dentro de la lógica del sistema estadounidense, centrado en la alta productividad de artículos publicados en revistas indizadas en Web of Science (9). Según Matthias Wahls, este proyecto se enmarcó en una política global que China lanzó en 2004-2005 para exportar al mundo su cultura, su idioma y sus líneas de Investigación y Desarrollo. En este marco, conquistar la industria editorial y lograr publicar más trabajos que EEUU, fueron algunos de los tantos vehículos para lograr sus objetivos, que fueron acompañados del envío de multitudes de estudiantes e investigadores a universidades occidentales, y de la firma de acuerdos de cooperación académica (10). A la par de un crecimiento exponencial de su economía, según datos del National Science Board (11), las publicaciones de China casi se quintuplicaron en el período 2003-2018 y, como resultado, la producción de China, en términos de cantidad absoluta, superó a la de EEUU. China logró este crecimiento a través del otorgamiento de incentivos financieros y mayores fondos de investigación a quienes lograran publicar sus investigaciones en revistas indizadas en Web of Science (Core Collection), con la idea de lograr el liderazgo de China en la ciencia global (9). 

Sin embargo, cuando China llegó a la cima y analizó los resultados de su política, dio un giro en dirección diametralmente opuesta. Los cambios que propusieron las nuevas políticas emitidas de forma conjunta por el Ministerio de Ciencia y Tecnología y el Ministerio de Educación de China desarticulan en parte el esquema mercantilista y promueven el diálogo internacional desde una lógica más soberana. Como señala Jie Xu (12), para quienes soliciten financiamiento o se postulen a convocatorias a nivel nacional, las nuevas políticas de China establecen un máximo de cinco trabajos representativos, de los cuales, al menos un tercio, deben publicarse en revistas chinas.

Este nuevo plan reemplaza, por un lado, la idea hiperproductivista, dado que ni la cantidad de artículos publicados, ni el factor de impacto de las revistas en las que se publiquen los trabajos representativos se podrán utilizar como medida de desempeño o capacidad investigadora; y, por otro, alienta la publicación en revistas editadas en China, para lo cual se prevé apoyo financiero para el desarrollo de estas revistas.

En línea con los nuevos lineamientos de la política China, en 2021, Francia publicó el 2.° Plan Nacional para la Ciencia Abierta, cuya propuesta es apoyar “la bibliodiversidad para que la comunidad científica recupere el control del sistema editorial”(13). Según Frédérique Vidal, ministra de Educación Superior, Investigación e Innovación de Francia, para lograr este objetivo:

“…se deben inventar nuevas reglas de juego, incluidas las de construcción de un nuevo modelo económico para la publicación científica. En este sentido, es fundamental apoyar modelos editoriales diversos, sostenibles y globalmente viables. Para ello, se creará un fondo dedicado a la publicación científica abierta, dirigido por el Comité de Ciencia Abierta” (14). 

La propuesta francesa, al igual que la de China, es apoyar a las revistas editadas por universidades y sociedades científicas de sus propios países. Siguiendo esta línea, el Consejo Europeo de Investigación (15), que en 2022 distribuyó 2.400 millones de euros para financiar proyectos de investigación de la Unión Europea, anunció la modificación de los criterios de evaluación para el otorgamiento de los fondos, y convocó a desestimar las métricas corporativas como el “factor de impacto” y asumir que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado. Tal como expresa el informe, “la amplia implementación de los criterios de evaluación de la investigación que integran los principios de DORA es la clave para una transición equitativa a la ciencia abierta”(15).

En los Países Bajos, en 2021, la Universidad de Utrecht expresó públicamente su decisión de no tener en cuenta el factor de impacto como medida estándar del éxito científico, para todas las decisiones de contratación y promoción. En palabras de Paul Boselie, “se ha convertido en un modelo muy dañino que va más allá de lo que es realmente relevante para la ciencia y lo que debería promover la ciencia”, por lo que se propone un mayor compromiso con el trabajo en equipo y con la ciencia abierta (16). 

Y aquí es donde nos paramos a aplaudir de pie. Finalmente, quienes hace años vienen discutiendo el modelo de evaluación y circulación de las ciencias lograron incluir el tema en la agenda política, y las instancias políticas comenzaron a tomar decisiones en esa línea. 

Ahora bien, una de las particularidades del campo científico es que es ecosistémico. Las conversaciones de las ciencias son internacionales. Las comunidades científicas suelen dialogar con formulaciones teóricas y metodológicas surgidas en diversas regiones del planeta, y no solo en las ciencias duras: las desigualdades, las relaciones asimétricas de poder, la discriminación, el sufrimiento y la exclusión de grandes sectores de la población, la persistencia de las llamadas enfermedades “postergadas” son temas que atraviesan a todos los continentes. Así es como grupos de investigación de España, México, Francia o Rusia, por ejemplo, publican en revistas argentinas, y viceversa. Pero cada persona es evaluada bajo los parámetros establecidos por la institución en la que trabaja o por las políticas del país en el que se inserta esa institución. Los equipos de investigación que soliciten fondos de investigación son evaluados, a su vez, sobre la base de las políticas de la entidad financiadora. Por lo tanto, las políticas que se adopten en un país o en una institución repercuten en las revistas científicas de otros países. 

En este sentido, si bien las nuevas políticas europeas beneficiarían a las revistas editadas en América Latina, cuyo modelo de publicación se alinea desde hace años con los valores de la ciencia abierta ¿qué posición van a adoptar los propios gobiernos de los países de América Latina?, ¿seguirán escuchando al ala más conservadora de la comunidad científica, que defiende modelos jerárquicos y meritocráticos, en los que la validación científica queda en manos de un grupo de corporaciones con grandes intereses económicos, sin importar el daño que este modelo ocasiona a la creatividad científica, a la innovación y a la diversidad de perspectivas?, ¿seguirán avalando el desfinanciamiento de las revistas científicas editadas en sus propios países? 

En el caso de Argentina, existe una disociación entre los lineamientos de la política de ciencia y tecnología abocada, entre otros aspectos, a “fortalecer las capacidades para realizar ciencia de calidad orientada por agendas enfocadas en la realidad social y productiva de la Argentina y de los países de la región” (17), y la política de evaluación de la investigación científico-académica, abandonada a las lógicas tecnocráticas. Mientras la política en ciencia y tecnología se aborda en términos políticos, la política de evaluación de la investigación opera en términos corporativos y, en consecuencia, se produce una gran desarticulación entre lo que se estimula investigar –y, sobre todo, publicar– y los problemas y los actores con los que las ciencias podrían dialogar.

Mientras en los lineamientos de las políticas nacionales de ciencia y tecnología se propone “multiplicar los procesos de aprendizaje y acumulación de capacidades institucionales, organizacionales y tecnológicas, de coordinación con el sector productivo, de transferencia y extensión y de incentivo a la creación de pymes tecnológicas” (17), en el área de publicaciones se sigue estimulando el desfinanciamiento de las revistas científicas editadas en el país y la exportación de divisas para sumar dividendos a la industria editorial científica transnacional (18).

Quebrar el statu quo actual implicaría, por un lado, un cambio en la cultura de evaluación: salir de modelos jerárquicos, meritocráticos e individualistas, para empezar a privilegiar la creatividad científica, la innovación, la investigación colaborativa y, sobre todo, la diversidad de perspectivas. Pero, por otro lado, se deberían potenciar revistas con capacidad de generar diálogos internacionales y de disputar el capital simbólico que hoy detentan las revistas de la industria editorial científica, lo cual demanda desarrollos tecnológicos y de experticias para la apropiación de esos desarrollos que podrían ser financiados de forma centralizada para todas las revistas editadas en el país (19).

En el escenario actual, las nuevas iniciativas en materia de publicaciones se deciden de forma desarticulada respecto del gran conjunto de actores implicados en el problema. Reuniones acotadas a un grupo de personas, que no necesariamente representan a colectivos organizados, terminan implementando lineamientos generales totalmente desconocidos por las personas destinatarias de esas políticas. 

Para producir un cambio real es necesario restituir la dimensión política. Como señala Gadamer, “el concepto de la técnica ha desplazado al de la praxis, o dicho de otro modo, la competencia del experto ha desplazado a la razón política” (20). Al anular la razón política de las áreas de evaluación científica, la racionalidad técnica se torna en sí misma la racionalidad de la acción social. De este modo, las instancias gubernamentales dejan de operar políticamente y ese retroceso permite el avance de la lógica tecnocrática de la mano de la racionalidad técnica (21). Revertir esta dinámica y restituir la dimensión política demanda empezar a discutir en las universidades, en los institutos de investigación, en las carreras de grado y posgrado, en los hospitales y en todos los ámbitos en los que se realicen investigaciones, los porqués y los paraqués se investiga y se pone a circular esa investigación en el plano narrativo, de manera de conformar colectivos con capacidad de disputar otras lógicas.

Referencias

1. DORA. Declaración De San Francisco Sobre La Evaluación De La Investigación [Internet]. DORA. 2022 [citado 10 de marzo de 2023]. Disponible en: https://sfdora.org/read/read-the-declaration-espanol/

2. Martinovich V. Indicadores de citación y relevancia científica: Genealogía de una representación. Dados. 2020;63(2):e20190094. 

3. Martinovich V. Los dueños de la ciencia. Anfibia [Internet]. 2017; Disponible en: http://revistaanfibia.com/ensayo/los-duenos-de-la-ciencia/

4. Martinovich V. La dimensión política del acceso abierto: ¿el conocimiento como bien público o como mercancía? Salud Colectiva. 2015;11(3):297. 

5. The research counts, not the journal! [Internet]. 2017 [citado 10 de marzo de 2023]. (Nobel Prize). Disponible en: https://www.youtube.com/watch?v=6MQ8R0OyvyQ

6. Schekman R. How journals like Nature, Cell and Science are damaging science. The Guardian [Internet]. 2013 [citado 3 de enero de 2017]; Disponible en: https://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science

7. Adler R, Ewing J, Taylor P. Citation statistics [Internet]. International Mathematical Union, International Council of Industrial and Applied Mathematics, Institute of Mathematical Statistics; 2008. Disponible en: https://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

8. Zhang L, Sivertsen G. The New Research Assessment Reform in China and Its Implementation. Scholarly Assessment Reports. 2020;2(1):3. 

9. Shu F, Liu S, Larivière V. China’s Research Evaluation Reform: What are the Consequences for Global Science? Minerva. 2022;60(3):329–47. 

10. Tao T. Guest Post — The Emergence of Chinese STM Publishers: Threat or Opportunity? An Interview with Matthias Wahls [Internet]. The Scholarly Kitchen. 2019 [citado 10 de marzo de 2023]. Disponible en: https://scholarlykitchen.sspnet.org/2019/11/19/guest-post-the-emergence-of-chinese-stm-publishers-threat-or-opportunity-an-interview-with-matthias-wahls/

11. National Science Board. Science & Engineering Indicators [Internet]. Alexandria: National Science Foundation; 2018. Disponible en: https://www.nsf.gov/statistics/2018/nsb20181/assets/nsb20181.pdf

12. Xu J. Guest Post — How China’s New Policy May Change Researchers’ Publishing Behavior [Internet]. The Scholarly Kitchen. 2020 [citado 10 de marzo de 2023]. Disponible en: https://scholarlykitchen.sspnet.org/2020/03/03/guest-post-how-chinas-new-policy-may-change-researchers-publishing-behavior/

13. Ministére de l’Enseignement Supérieur et de la Recherche. Le Plan national pour la science ouverte 2021-2024 : vers une généralisation de la science ouverte en France | enseignementsup-recherche.gouv.fr [Internet]. Ministére de l’Enseignement Supérieur et de la Recherche. 2021 [citado 10 de marzo de 2023]. Disponible en: https://www.enseignementsup-recherche.gouv.fr/fr/le-plan-national-pour-la-science-ouverte-2021-2024-vers-une-generalisation-de-la-science-ouverte-en-48525

14. Vidal F. Lettre de la science ouverte | numéro 1 [Internet]. Ministére de l’Enseignement Supérieur et de la Recherche. 2021 [citado 10 de marzo de 2023]. Disponible en: https://www.ouvrirlascience.fr/wp-content/themes/coso2021/lettresinfo/lettre1.html

15. European Research Council. ERC plans for 2022 announced [Internet]. European Research Council; 2021. Disponible en: https://erc.europa.eu/news/erc-2022-work-programme

16. Woolston C. Impact factor abandoned by Dutch university in hiring and promotion decisions. Nature. 2021;595(7867):462. 

17. Ministerio de Ciencia, Tecnología e Innovación. Plan Nacional de Ciencia, Tecnología e Innovación 2030 [Internet]. Buenos Aires: Ministerio de Ciencia, Tecnología e Innovación; 2020. Disponible en: https://www.argentina.gob.ar/sites/default/files/plan_cti_2030_-_documento_preliminar_septiembre_2020.pdf

18. Martinovich V, Spinelli H. Barajar y dar de nuevo [Internet]. El Cohete a la Luna. 2020 [citado 10 de marzo de 2023]. Disponible en: https://www.elcohetealaluna.com/barajar-y-dar-de-nuevo/

19. Martinovich V. Covid-19 y dependencia científica. El Cohete a la Luna [Internet]. 2020 [citado 8 de diciembre de 2021]; Disponible en: https://www.elcohetealaluna.com/covid-19-y-dependencia-cientifica/

20. Gadamer HG. Verdad y método. 11a ed. Salamanca: Ediciones Sígueme; 2005. 

21. Martinovich V. Ciencia abierta en América Latina: repensar la interdependencia dinámica entre las ciencias y la sociedad. Revista Espacios. 2021;42(24):1–14. 

DORA: 10 años por el cambio en la evaluación científica

Publicado en Investiga. Monográficos sobre investigación no. 42 (2023) - Biblioteca de la Universidad de Sevilla

https://bib.us.es/sites/bib3.us.es/files/investiga-3.pdf#page=1

DORA: 10 años por el cambio en la evaluación científica

Introducción

En diciembre de 2012, durante la Reunión Anual de la American Society for Cell Biology en San Francisco, se planteó la necesidad de cambiar el mal uso que desde diferentes sectores relacionados con la investigación se estaba dando al Factor de Impacto como métrica de evaluación de la investigación. Seis meses después, en mayo de 2013, esa discusión se plasmaba en una declaración que instaba a agencias de financiación, instituciones, editores, organizaciones que suministran métricas e investigadores a realizar cambios en la evaluación de la investigación mediante una serie de recomendaciones y mejores prácticas: la Declaración de San Francisco sobre Evaluación de la Investigación (Declaration on Research Assessment - - DORA).

Este mes de mayo se cumplen 10 años desde su lanzamiento, en un momento en el que la reforma de la evaluación de la ciencia está de plena actualidad y se suceden las iniciativas en este sentido. En este monográfico haremos un repaso de la Declaración y veremos en qué medida se están planteando sus principios.   

Cambios en los modelos de evaluación de la investigación: ¿una necesidad apremiante?  

La evaluación de la calidad de la investigación es fundamental a la hora de la financiación de la misma, la promoción académica de los investigadores y es la base de todo el sistema de incentivos y recompensas en el mundo académico. Sobre esta base, es evidente que la forma en que se ha estado llevando a cabo ha influido poderosamente en los hábitos de publicación y producción de la investigación.

Evaluar el desempeño del personal investigador mediante el uso exclusivo de ciertos indicadores bibliométricos y el imperio absoluto del IF (JCR) como indicador estrella de la calidad de la investigación, unido al mayor peso de la dimensión investigadora dentro de la carrera académica, ha provocado una adaptación por parte del personal investigador a la hora de seleccionar el medio de difundir los resultados de su trabajo, el formato en que va a publicar (artículo), e incluso, el enfoque del mismo en detrimento de investigaciones más locales de difícil encaje en las grandes revistas internacionales.

Por otro lado, esta creciente necesidad de publicar ha resultado una magnífica oportunidad de negocio para la industria editorial que, facilitada por la transformación digital, no deja de ofrecer oportunidades de publicar cada vez más rápidamente y con “impacto” garantizado.

En estas circunstancias, publicar se ha convertido en un fin en sí mismo y cada vez se hacen más evidentes las consecuencias que provoca en la ciencia la forma en la que se evalúa y se recompensa.

La necesidad de una reforma en la evaluación de la investigación viene de lejos y han sido muchas las voces alertando de lo inadecuado de los sistemas imperantes, no sólo en España, sino en el resto de Europa. La transformación digital, el surgimiento de un concepto de la ciencia más abierto y colaborativo, más multidisciplinar y diversa en sus resultados ha dado el impulso final a las instituciones europeas y nacionales para trabajar en esta dirección.

DORA: 10 años por el cambio en la evaluación científica  

 El punto de partida de DORA es que es urgente cambiar la forma en que se evalúa la investigación científica, ya que los parámetros utilizados para esta evaluación a menudo no son precisos y no se ajustan a los productos que se evalúan. 

Así, considera que, con frecuencia, la evaluación científica se realiza teniendo en cuenta indicadores basados en la calidad de las revistas, sobre todo el Factor de Impacto que, como hemos visto en el apartado anterior, presenta serias limitaciones para medir la calidad científica de la investigación, de un artículo o de los méritos de un investigador. 

Por otra parte, aunque considera que en la actualidad existe una amplia diversidad de productos que muestran resultados de los procesos de la investigación -datos, reactivos, software, propiedad intelectual, etc.- y que algunos de ellos están ganando en importancia, reconoce que el artículo evaluado por pares seguirá siendo fundamental a la hora de evaluar la investigación. 

Ante esto, urge a todos los actores implicados en la evaluación de la investigación a mejorar la forma en la que se evalúa la investigación y ofrece una serie de recomendaciones y buenas prácticas. 

Como recomendación general y, quizás, más importante, indica que el contenido científico de los artículos es mucho más importante que las métricas que analizan las publicaciones o revistas en las que fue publicada la investigación, por lo que pide a todos los agentes implicados en la investigación que no sustituyan la evaluación de la calidad del artículo individuales por métricas basadas en revistas, como el FI.

  “No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.”  

 DORA considera que es necesario establecer un conjunto de métricas a nivel de artículo que permitan conocer la verdadera aportación de esa investigación, además de evaluar el contenido del artículo en sí mismo. Para ello, además de la recomendación anterior, ofrece una serie de recomendaciones específicas para cada uno de los agentes que intervienen en la evaluación científica. De esas recomendaciones, destacamos las siguientes:   

- A las agencias de financiación y a las instituciones de investigación, les recomienda que consideren el valor de otros productos relacionados con la investigación, como los conjuntos de datos o el software, además de los artículos revisados por pares.

- A las editoriales les recomienda reducir el énfasis en el factor de impacto como herramienta promocional o que lo utilicen dentro de una variedad de métricas, tanto basadas en revistas -tales como SJR, EigenFactor o índice H, como otras métricas a nivel de artículo -tales como el Article Influence Score u otras alternativas. Además, les insta a especificar la responsabilidad de cada coautoría en el artículo -como la propuesta CReDIT. 

- Al personal investigador le recomienda que se basen en el contenido científico, y no en las métricas de publicación y a utilizar diferentes métricas como evidencia del impacto de la investigación.   

 Otras recomendaciones van en la línea de eliminar las limitaciones del número de referencias en los artículos, utilizar en la medida de lo posible investigaciones primarias, fomentar la transparencia y promover prácticas que se centren en el valor y la influencia de los resultados de investigación específicos. 

El modelo de evaluación que propone DORA, por lo tanto, se podría resumir en lo siguiente:  

1. No utilizar las métricas basadas en revistas -especialmente el JIF- cómo única o principal medida a la hora de evaluar un artículo o un investigador.

2. Valorar la calidad del contenido científico de las propias aportaciones.

3. Establecer criterios bien fundamentados y respaldados académicamente para evaluar la investigación. 

4. Utilizar un conjunto de indicadores, instando a desarrollar métricas para una mejor evaluación. 

5. DORA ofrece recomendaciones y buenas prácticas sobre evaluación de la investigación, para que cada agente busque la mejor manera de aplicarlas.   

En conmemoración de los 10 años de la declaración, se ha realizado un llamamiento internacional para impulsar estos principios mediante la realización de eventos en los que se analice el impacto de DORA en la reforma de la evaluación científica y de los desafíos que aún quedan por enfrentar  

 Otras iniciativas sobre evaluación científica

La Declaración de San Francisco fue uno de los primeros manifiestos públicos en promover la urgencia de realizar cambios en la evaluación de la investigación, pero no fue el primero. En 2010 había aparecido el Manifiesto Almetrics, que ya apuntaba que el FI no era una medida adecuada para evaluar la calidad de un artículo, apuntaba a otros productos de investigación y apostaba por métricas basadas en el que denominaban “impacto social” (altmetrics).

 Uno de los que más peso ha tenido en Europa, junto con DORA, es el Manifiesto de Leiden (2014) que, con 10 puntos, coincide con DORA en que la valoración de la calidad la investigación debe basarse en la investigación misma, apoyada por un conjunto de métricas que la complementen y siempre a nivel de lo que se está evaluando. Estos 10 puntos son:   

1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.
3. La excelencia en investigación de relevancia local debe ser protegida.
4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.
5. Los datos y análisis deben estar abiertos a verificación por los evaluados.
6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
8. Debe evitarse la concreción improcedente y la falsa precisión.
9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.
10. Los indicadores deben ser examinados y actualizados periódicamente.   

Desde entonces, se han producido diferentes llamamientos desde diferentes órganos a cambios en la evaluación científica, especialmente la Comisión Europea, aunque pocos han llegado a concretarse y a tener una aplicación real. Por ello, con la intención de dar pasos concretos hacia la reforma de la evaluación científica europea, en 2021 se inició un procedimiento de consulta en el que participaron más de 350 organizaciones de más de 40 países y que dio como resultado la publicación del Acuerdo europeo sobre la reforma de la evaluación de la investigación en julio de 2022. El acuerdo incluye los principios, los compromisos y el calendario para las reformas, y establece los principios para una alianza de organizaciones, Coalición por la Evaluación de la Investigación Avanzada (CoARA) que quieran trabajar juntas en la aplicación de los cambios. Estos compromisos son:  

1. Reconocer la diversidad de las contribuciones según la naturaleza de la investigación.
2. Basar la evaluación en elementos cualitativos apoyados en el uso responsable de las métricas.
3. Abandonar el uso inapropiado de métricas de revistas como el JCR.
4. Evitar el uso de rankings de instituciones para la evaluar la investigación.
5. Destinar los recursos necesarios para reformar la evaluación.
6. Revisar y desarrollar criterios de evaluación, herramientas y procesos.
7. Aumentar la concienciación sobre la necesidad de reformar la evaluación y proporcionar transparencia, guía, formación sobre criterios y procesos de evaluación.  

Los firmantes se comprometen a basar la evaluación de la investigación principalmente en un juicio cualitativo en el que la revisión por pares es primordial y queda respaldado por un uso responsable de indicadores cuantitativos. Este compromiso supone iniciar el proceso de revisión o desarrollo de criterios y herramientas alineados con el acuerdo durante 2023 y tenerlo desarrollado completamente a finales de 2027.   

La reforma de la evaluación de la investigación en España  

 En España no han faltado voces reclamando reformas en los procesos de evaluación siguiendo la línea establecida por DORA o Leiden. No obstante, es ahora cuando estamos empezando a vislumbrar una voluntad real por parte de las autoridades y llega determinada por el impulso de la Comisión Europea. 

DORA ha sido firmada por 176 instituciones, entre las que se encuentran la Agencia Estatal de Investigación y la propia Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). En el caso de esta última, su reciente adhesión -el pasado mes de abril de 2023- supone un replanteamiento de la evaluación de la investigación en España, que a día de hoy sigue muy condicionada por el Factor de Impacto, a pesar de que ANECA ya había firmado el Acuerdo de Leiden en 2021 y de que en los Principios y directrices para la actualización de criterios de evaluación de la investigación que publicó ese mismo año ya se comprometía a "complementar el índice de impacto de las revistas como único indicador de calidad con otros indicadores bibliométricos y/o cualitativos”. No obstante, aunque con buena voluntad, estas medidas no reflejaban con decisión los principios de Leiden y, mucho menos, de DORA.   

Hay que recordar también que el Tribunal Supremo, en las sentencias de 16 de julio de 2020, recurso de casación núm. 2719/2018, y de 12 de junio de 2018, recurso de casación núm. 1281/2017, en relación a las aportaciones presentadas a evaluación ya afirmaba que “es el trabajo –la aportación– no la publicación” lo que debe valorarse.

Estos principios se han ido plasmando en la actualización y reforma del marco legislativo español. La nueva Ley Orgánica del Sistema Universitario, en su artículo 69, especifica además que la acreditación a los cuerpos docentes debe garantizar una a evaluación tanto cualitativa como cuantitativa de los méritos e incluso menciona de forma específica que esa evaluación deberá realizarse “con una amplia gama de indicadores de relevancia científica e impacto social”. De hecho, en el borrador del nuevo Real Decreto por el que se regulará la acreditación se establece la necesidad de integrar las orientaciones del movimiento internacional de reforma de la evaluación de la investigación en Europa promovida por la Comisión Europea y materializada en COARA, estableciendo el reconocimiento de una mayor pluralidad de contribuciones y carreras investigadoras, así como que los criterios de evaluación se centrarán en valorar la calidad de la investigación mediante el “empleo de métodos cualitativos, con el apoyo de un uso responsable de indicadores cuantitativos”.  

 Y en esta misma línea se muestra la recién publicada Estrategia Nacional de Ciencia Abierta (ENCA), que en la línea D3, “Adecuación de los procesos de evaluación del mérito docente, investigador y de transferencia a los parámetros de la ciencia abierta” se especifica que "se disminuirá de forma progresiva el uso de indicadores bibliométricos cuantitativos relacionados con el impacto de las revistas […] en la evaluación de méritos curriculares del personal investigador, incorporándose paulatinamente indicadores cualitativos” y que “se promoverá el uso de criterios de mérito basados en la importancia de las aportaciones científico-técnicas y su contenido”. 

Finalmente, el pasado 12 de mayo ANECA, CRUE y CSIC presentaron una propuesta conjunta de participación en COARA, con el objetivo de crear un espacio colaborativo propio (Spanish Chapter) en el que intercambiar ideas y desarrollar debates y consensos que ayuden a la reforma y mejora de la evaluación en el contexto español. Esperemos que la propuesta tenga éxito y suponga un decidido avance en la reforma de la evaluación de la ciencia en nuestro país.