Contra la perversión del sistema de evaluación de la ciencia

Publicado en El País
https://elpais.com/ciencia/2024-05-03/contra-la-perversion-del-sistema-de-evaluacion-de-la-ciencia.html 

ÉTICA CIENTÍFICA

Tribuna

Contra la perversión del sistema de evaluación de la ciencia

Publicar un artículo en una revista de alto impacto no significa en absoluto que sea una contribución científica de alta calidad

Antonio Bahamonde Pedro Larrañaga Ramón López de Mántaras

03 may 2024 

Es bien sabido que la investigación es el principal motor del progreso económico y social; pero debe funcionar correctamente para que nos permita realmente mejorar nuestras vidas. Desafortunadamente, hay evidencias claras que indican la necesidad de reparar algunos aspectos sustanciales de la misma como son la falta de una financiación adecuada, la escasa importancia que se concede en nuestro país a la investigación interdisciplinar, la necesidad de un pacto de estado en investigación, la evaluación de los investigadores y la atracción y retención de talento. En este artículo nos centraremos en estos dos últimos aspectos: evaluación y talento.  

En España, la investigación de los investigadores, de los profesores universitarios, y de los que aspiran a serlo, se evalúa casi exclusivamente basándose en criterios bibliométricos. Es decir, con una contabilidad del volumen de publicaciones, citas y otras medidas de naturaleza numérica. Pero, salvo excepciones, se excluye la evaluación por pares. Es decir, que expertos en el tema emitan juicios bien argumentados sobre las contribuciones más relevantes de los investigadores al avance en el conocimiento.  

Los defensores del uso de criterios de evaluación bibliométricos argumentan que son más “objetivos” y menos costosos que la evaluación por pares. La medida clave aquí es el llamado factor de impacto de las revistas donde los investigadores publicamos nuestros resultados. Este factor se calcula para cada revista de la forma siguiente: cada año, el factor de impacto de una revista es el resultado de dividir el número total de citas que han recibido los artículos de esa revista en los dos años anteriores, entre el número de artículos publicados en dicha revista durante esos dos años.

La realidad es que estas medidas indirectas no son adecuadas para evaluar las aportaciones científicas de los investigadores. Un estudio de Philip Campbell, entonces editor de Nature (ver “Escape from the impact factor”, Nature Vol. 8, 2008) reveló que las tres cuartas partes de los artículos publicados en esta prestigiosa revista no contribuyen al cálculo del factor de impacto de la revista. De hecho, el 80% de los artículos que se publican en Nature en un año dado reciben menos de 20 citas a lo largo de los siguientes dos años.

Por otra parte, es sabido que hay editores de revistas que, durante el proceso de revisión, piden a los autores de un artículo que citen a otros artículos recientemente publicados en la misma revista. De esta forma consiguen subir artificialmente el impacto de la revista.

En definitiva, se puede afirmar que el hecho de publicar un artículo en una revista de alto impacto no significa en absoluto que dicho artículo sea una contribución científica de alta calidad. Habría que analizar detalladamente la relevancia de las citas recibidas por el artículo en cuestión y el motivo de dichas citas, ya que un artículo puede recibir muchas citas por el hecho de contener resultados erróneos. El ejemplo más conocido es un artículo que aparentemente demostraba que la fusión nuclear era posible a temperatura ambiente.

Malas praxis

Medir la producción académica al peso ha traído consigo un buen número de trucos característicos de la picaresca tan común en nuestro país. Algunos ejemplos de mala praxis pueden ser los siguientes.

Un investigador puede incrementar sus números haciendo un pacto de publicación con otros, que aparecerán como coautores en sus artículos, a cambio de aparecer como coautor en los artículos de los otros. Este acuerdo también se extiende a las citas recíprocas.

El conocido clickbait, es decir, artículos con títulos capaces de llamar la atención de otros investigadores por el hecho de tratar un tema de moda, aunque dichos artículos sean aportaciones sin interés. Otra estrategia consiste en escribir artículos que resuman el estado del arte de un campo (artículos de survey), pues es más probable que reciban más citas que artículos conteniendo aportaciones originales.

Otras veces se opta por dividir un resultado científico en trozos que no excedan la mínima unidad publicable. Este truco también se conoce como publicación salami. Esto aumenta artificialmente el número de citas y de publicaciones.

En EL PAÍS, así como en otros medios de comunicación, recientemente se han publicado diversas noticias que dan cuenta de algunas de estas malas prácticas que pervierten el sistema de evaluación y que llegan a casos extremos como publicaciones de artículos, de una o dos páginas y nula relevancia científica, conteniendo centenares de autocitas sin relación con el contenido de dichos artículos. Nuestro compañero José Luis Verdegay también publicó recientemente un magnífico artículo sobre este aspecto (“Productividad y calidad científica: ¿dos caras de una misma moneda?”, Universidad 02/04/2024)

¿Qué se debería hacer?

Una idea razonable para acercarnos a una medición más fiel de la calidad de la producción científica consiste en utilizar criterios que internacionalmente funcionan en los países científicamente más avanzados. Por ejemplo, la Declaration on Research Assessment (DORA, San Francisco, 2013), el Joint Statement of Informatics Research Evaluation (Informatics Europe, 2020) o la Declaración de Málaga de la Sociedad Científica Informática de España (SCIE, 2020). En todos estos casos se insiste en que la evaluación debe incluir la evaluación por pares de las contribuciones científicas, analizando con detalle las aportaciones más allá del denominado “estado del arte”. Es decir, más allá del conocimiento actual sobre la materia motivo de investigación, así como las posibilidades de que dichas contribuciones sean útiles para que otros investigadores obtengan más y mejores resultados, de acuerdo con la famosa frase de Isaac Newton: “Si he logrado ver más lejos ha sido porque me he subido a hombros de gigantes”.

Pero, sobre todo, estos métodos de evaluación necesitan estar complementados por algo que parece obvio: la responsabilidad de quien usa la evaluación para tomar decisiones.

Las consecuencias de esta manera de evaluar

Queremos destacar las consecuencias negativas del sistema actual para marcar la meta que debemos perseguir los investigadores para progresar en la carrera profesional. Buscamos dar razones para cambiar las cosas.

En demasiados casos, los esfuerzos se centran en producir artículos con la finalidad de que acumulen citas; no necesariamente que sean importantes en algún aspecto. Hemos comprobado que este sinsentido es una realidad. Como consecuencia de señalar esta meta, muchos de los jóvenes que inician su carrera científica se ven tentados a sumarse a este juego de las citas. Lamentablemente, la mayoría de las veces no son llamados a participar en investigaciones interesantes que supongan un reto intelectual con el que crecer como investigadores. El resultado es que las jóvenes promesas con más talento se fugan a otros lugares lejos del sistema académico de investigación español. Esto es especialmente grave y habitual en nuestro campo, la Inteligencia Artificial, pues hay muchos reclamos de otros países o de empresas privadas ofreciendo mejores recursos y condiciones salariales.

La fuga de talento frustra nuestras opciones de crecimiento. En cierto sentido, se destruye la ilusión que habíamos depositado en un futuro que las nuevas generaciones debían protagonizar. Nuestros egresados necesitan perspectivas de progreso de su carrera profesional que motiven su interés en ser parte esencial de nuestro sistema de I+D+I. Es fundamental ofrecer contratos estables y condiciones laborales dignas, incluyendo salarios competitivos que reconozcan el valor de su trabajo. La publicación, sin más, de material potencialmente citable no debería ser un elemento a tener en cuenta para atraer talento. En definitiva, la atracción y retención del talento investigador en España exige un cambio de paradigma en la gestión del conocimiento generado.

No queremos acabar estas líneas sin apuntar alguna vía de solución a la atracción y retención de talento. Poco original quizás. Sugerimos mirar a los sistemas que siguen países de nuestro entorno y que han tenido éxito. Por ejemplo, el modelo británico. Allí, la financiación de los centros de investigación y departamentos universitarios depende de evaluaciones externas por pares y el resultado de las evaluaciones repercute en los salarios de los investigadores, incluidos los jóvenes doctorandos. Por tanto, la responsabilidad de los gestores para hacer crecer a las instituciones incluye medidas no solo para retener talento, sino también para atraerlo. Aparte de las condiciones salariales, la pieza clave es también la capacidad para ilusionar a los jóvenes con la calidad de la docencia y de los proyectos de investigación.

Dejamos en el tintero muchas preguntas importantes. Por ejemplo, ¿es deseable que haya universidades donde la investigación no sea un objetivo prioritario? ¿Debería financiarse con fondos públicos la investigación en grandes empresas del sector privado? Estos y otros aspectos deberían ser objeto de debate si queremos que un sistema de I+D+I de calidad comparable a la de los países científicamente más avanzados.

Antonio Bahamonde es catedrático de la Universidad de Oviedo.

Pedro Larrañaga es catedrático de la Universidad Politécnica de Madrid

Ramón López de Mántaras es Profesor de Investigación del Instituto de Investigación en Inteligencia Artificial del CSIC

ESPAÑA: Los investigadores podrán eludir la 'dictadura de los papers' y las revistas científicas

Publicado en elDiario.es
https://www.eldiario.es/sociedad/investigadores-podran-eludir-dictadura-papers-revistas-cientificas_1_10661432.html

Los investigadores podrán eludir la 'dictadura de los papers' y las revistas científicas

La Aneca 'reabre' la ciencia y propone que también se puedan acreditar sexenios de investigación con méritos como patentes, informes, dictámenes, trabajos técnicos o artísticos, exposiciones, catalogaciones o conjuntos de datos, excavaciones arqueológicas o metodologías

Entrevista — Pilar Paneque: “La exigencia de publicar constantemente lleva a un sistema científico de cantidad, no de calidad”

Es posible que nunca antes haya habido tanta expectación por algo con un nombre tan poco atractivo como Resolución de la Comisión Nacional Evaluadora de la Actividad Investigadora por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Pero en este documento, que publica cada año la Aneca (la agencia encargada de evaluar la carrera académica del profesorado) para reconocer sexenios de investigación (periodos de seis años, que otorgan al investigador un bono económico y le permiten prosperar en la academia), está buena parte de la clave para cambiar la ciencia, sumida en una espiral cuantitativa que provoca disfunciones y merma la calidad de la investigación.

La nueva directora de la Aneca había prometido hacerlo para sacar a investigadores y universidades de “la dictadura de los papers" que rige el sistema de producción de ciencia. Del temido (y odiado) factor de impacto de las revistas. Este lunes se ha publicado por fin el borrador de la resolución, que además por primera vez sale a consulta pública, (hasta el 19 de noviembre). Y que avanza hacia ese cambio admitiendo nuevos formatos y nuevos soportes como méritos de investigación reconocibles más allá del artículo. Como ya recogía una orden de 1994, hoy olvidada.

Dice el texto: “Se amplía (...) el abanico de aportaciones y posibles medios de difusión que pueden justificar una actividad investigadora durante el periodo evaluado”. Y enumera nuevos posibles soportes: “Publicaciones, patentes, informes, estudios, dictámenes, trabajos técnicos, trabajos artísticos, exposiciones, excavaciones arqueológicas, catalogaciones, etc.”. Añade la Aneca que ante “la situación general de la ciencia en España (...) pueden justificar actividad investigadora los conjuntos de datos, las metodologías y el código de las aplicaciones informáticas desarrolladas”.

Esto quiere decir que la Aneca dejará de valorar exclusivamente como mérito los artículos científicos, donde únicamente se tiene en cuenta la revista de publicación como indicador de la calidad del paper en cuestión. El sistema ya fue así, pero se fue restringiendo con el paso de los años para acabar centrado exclusivamente en las revistas (más cómodo para el evaluador, que solo tenía que ver dónde se publicaba un artículo para valorarlo). Con esta nueva orden, que pedía la comunidad científica, se armoniza la evaluación con la acreditación para ser profesor universitario, abierta ahora al software, la creación artística o los congresos, entre otros nuevos méritos.

“Se realiza un reajuste en la combinación de los métodos cualitativos y los indicadores cuantitativos utilizados para la valoración de las aportaciones presentadas”, sostiene el borrador de resolución.

Otro aspecto novedoso de la propuesta de la Aneca es que “los resultados de la investigación (...) estén disponibles en acceso abierto, cuyo acceso gratuito y libre debe fomentarse mediante el desarrollo de repositorios institucionales o temáticos de acceso abierto, propios o compartidos”. Actualmente, si las revistas donde se publica son de acceso abierto es porque el investigador ha pagado previamente; si no, se paga por leer. Pero alguien suele pagar, y en ocasiones se hace dos veces. En España, en la inmensa mayoría de los casos es siempre dinero público. También es habitual colgar los trabajos en repositorios de acceso restringido (como ResearchGate o Academia)

Entre las novedades de la propuesta de la Aneca de este año está también la creación de un nuevo campo de conocimiento (los sexenios se entregan por áreas) que será interdisciplinar para la actividad investigadora de carácter más transversal y difícil de cuadrar en un campo concreto.

Sin ruptura con lo anterior

Pero el texto tampoco supone una ruptura completa –los sexenios de investigación afectan a un periodo de seis años y no se pueden cambiar las normas de juego a mitad de la partida, según defiende Paneque–, por lo que la resolución mantiene también la estructura anterior: publicar en las revistas que el “ecosistema científico” ha decidido que son las más relevantes (las que más se citan en el sector) sigue siendo un mérito en sí mismo (es la revista la que hace la criba: una vez publicado, se da por bueno que el artículo es de calidad), aunque tampoco será exactamente igual porque habrá que justificar la publicación, como explica la bibliotecaria Amelia López en este hilo.

Uno de los principales problemas que provoca este método, llevan años advirtiendo los expertos, es la deriva que ha sufrido el sector en los últimos años: de pagar por leer, los investigadores han pasado a pagar por publicar, lo que ha generando un mercado de revistas que publican casi todo porque, para ellas, publicar es ganar dinero. También ha provocado que se haga investigación solo para publicar y acumular méritos, según han detectado algunos estudios, sin aportar nada realmente novedoso a la ciencia.

Tras los pasos de Dora y Coara

El movimiento de la Aneca sigue las últimas recomendaciones internacionales, que proponen realizar cambios en la manera en que se evalúa la producción científica. “Aconseja integrar ya en esta convocatoria las orientaciones del movimiento internacional de reforma de la evaluación de la investigación, al que se ha incorporado Aneca en este año 2023 a través de su adhesión a la San Francisco Declaration on Research Assessment (DORA) y a los acuerdos y principios de la Coalition for Advancing Research Assessment (CoARA). En los diversos campos y subcampos de evaluación esto se concreta, conforme a las reglas aplicables a cada disciplina científica, en la solicitud de una narración justificativa de los indicios de relevancia e impacto de cada aportación (métodos cualitativos), apoyados por un uso responsable de indicadores cuantitativos”, explica la agencia.

El texto propone que cada investigador justifique el impacto de su aportación cuando esta se produzca fuera del ecosistema de las revistas tradicionales. También en ellas, de hecho. Esta práctica se realizará por el momento a través de las “aportaciones extraordinarias” que, como su nombre indica, habitualmente han de ser escasas o especiales, pero que este año –o en el ínterin que dure la transición hacia el nuevo sistema– se aceptará con carácter general.

El proceso de evaluación de los méritos presentados, con “criterios y metodologías de evaluación cualitativas y cuantitativas”, tomará como referencia “la narrativa aportada por la persona solicitante en los 'indicios de relevancia e impacto' de cada aportación”, explica el texto. Y pone ejemplos: “Se defenderá el impacto científico de la aportación a través de citas recibidas contextualizadas excluyendo autocitas, de su proyección internacional, de los proyectos nacionales o internacionales que han financiado la investigación o que se han derivado de ella, de los premios recibidos, de las traducciones de la obra, entre otros; y/o la contribución de dicha aportación a la generación de impacto social evidenciado, por ejemplo, a través de aportaciones al diseño e implementación de políticas públicas, contribución al desarrollo de productos y servicios o cualquier otro aspecto que se considere relevante”. Y se recomienda hacer un “uso responsable de indicadores cuantitativos (indicadores bibliométricos normalizados, entre otros)”, en alusión al sistema de revistas.

Según el borrador, que incluye un apéndice con varios cuadros para explicar el nuevo sistema, se permitirán las clásicas métricas de citación, pero también de uso y lectura (volumen de descargas, visualizaciones o visitas), las métricas de influencia o adopción social (menciones a fuentes externas del ámbito académico) y métricas de visibilidad social (plataformas sociales en línea, “preferentemente académicas y especializadas”). También se informa de que se valorará la difusión de las aportaciones en abierto o compartir datos brutos, metodologías, etc. “de forma abierta y transparente”.

Políticas nacionales de ciencia y tecnología y evaluación científico-académica ¿no deberían ir de la mano?

Políticas nacionales de ciencia y tecnología y evaluación científico-académica ¿no deberían ir de la mano?

video: "The research counts, not the journal"

Viviana Martinovich
Editora ejecutiva, revista científica Salud Colectiva; directora editorial, colección de libros Cuadernos del ISCo; docente-investigadora, Instituto de Salud Colectiva, Universidad Nacional de Lanús.

12 de julio de 2023 | Ciencia Propia https://cienciapropia.com.ar/evaluacion-cientifico-academica

Durante más de 200 años, las revistas científicas han sido el dispositivo central del diálogo integrador y cosmopolita de las ciencias. Pero desde la segunda mitad del siglo XX, gobiernos de distintas latitudes y colores políticos adoptaron ciertas reglas del libre mercado creadas por grandes monopolios industriales, y asociaron la evaluación de la producción escrita de las ciencias a indicadores de “calidad” científica creados a medida para asegurar el primado del complejo científico-industrial de países industrializados, por lo que el artículo científico y, por ende, las propias investigaciones se tornaron moneda de cambio para un ascenso meritocrático, y se distanciaron de las políticas nacionales de ciencia y tecnología. En este contexto, diversas instituciones y países –como China, Francia y la Comisión Europea– comenzaron a promover el abandono de los indicadores de citación corporativos para privilegiar las agendas científicas nacionales y el impacto social de las investigaciones. ¿Qué posición van a adoptar los gobiernos de los países de América Latina? ¿Seguirán escuchando al ala más conservadora de la comunidad científica?

Que estamos en un momento de cambios, no hay duda. Hacia dónde va el cambio, está por verse. Pero lo cierto es que universidades, sociedades científicas, organismos de financiamiento, directoras y directores de revistas científicas, de más de 140 países se han proclamado en contra de los actuales sistemas de evaluación de las ciencias y adhirieron a la Declaración de San Francisco sobre la evaluación de la investigación (DORA) (1), que considera que “el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado”. ¿Qué significa esto?

Cuando una investigadora o un investigador se presentan a alguna de las tantas instancias de evaluación, por ejemplo, para obtener una beca, ingresar a un doctorado, obtener fondos para una investigación o conseguir una promoción dentro de la carrera de investigación, uno de los ítems que más peso tiene en gran parte de los países del mundo son los artículos que publicó y en qué revistas publicó esos trabajos. 

Pero esto no es nuevo: a lo largo de varios siglos, el artículo científico fue un elemento central del sistema de comunicación de las ciencias y, además, una carta de presentación. En Argentina, por ejemplo, en la década de 1870, cuando Sarmiento le pidió al naturalista alemán Germán Burmeister que use sus contactos para traer profesores de Alemania, al presentar el listado de potenciales profesores, enumeró los artículos que cada uno de ellos habían publicado en revistas científicas de la época.

Esta práctica no es la que está en cuestionamiento. Lo que está en discusión es la intromisión de la lógica de mercado en la estratificación de las ciencias a través de indicadores de “calidad” científica, que comienzan a imponerse luego de la Segunda Guerra Mundial (2). Durante los últimos 70 años, un puñado de corporaciones consolidaron un engranaje financiado por las grandes industrias químicas, alimentarias, farmacéuticas, etc., para validar científicamente sus productos a través de ciertas revistas consideradas “internacionales”, de manera que las revistas editadas por fuera de ese esquema industrial quedaran en el imaginario colectivo como revistas “emergentes” o “nacionales”, asignándole a la palabra “nacional” un carácter altamente peyorativo (3). 

Estados fuertes y débiles, Estados ricos y pobres, nortes y sures, gobiernos de derecha y gobiernos progresistas, todos compraron un esquema de evaluación basado en indicadores definidos por las mismas corporaciones que obtenían grandes ganancias, lo que fomentó un modelo de ciencia jerárquico, individualista, altamente competitivo y mercantilista. La política científica mundial parecía seguir las reglas del libre mercado y operar exclusivamente con indicadores de “calidad” científica creados a medida para asegurar el primado de un puñado de compañías, sin ningún tipo de intervención de las políticas estatales en ciencia y tecnología de cada país. 

Hace varios años atrás, decíamos que el movimiento de acceso abierto tenía la potencialidad de restituir la dimensión política al interior de un campo científico altamente mercantilizado (4). Y eso es lo que comenzó a ocurrir: esas prácticas, que fueron sostenidas y avaladas por gran parte de la comunidad científica durante años, comenzaron a ser cuestionadas fuertemente desde su núcleo central. Premios Nobel como Joseph Goldstein, Peter Doherty, Paul Nurse, Bruce Beutler (5), o Randy Schekman (6), expresaron públicamente los efectos nocivos de la competencia por las métricas; instituciones como el Consejo de Investigación del Reino Unido, la Organización Europea de Biología Molecular, la Sociedad Americana de Microbiología, la Unión Matemática Internacional (7), Wellcome Trust, entre tantas otras, comenzaron a hacer público su rechazo.

Si bien los cimientos habían comenzado a resquebrajarse, no se lograban imprimir cambios en las instancias de decisión política, que seguían relegando la toma de decisiones en manos del sector más conservador de la comunidad científica.

Sin embargo, desde que China publicó las nuevas políticas de financiación y evaluación de la investigación (8), como efecto cascada, varios países europeos y entidades que representan a la Unión Europea han seguido su camino y han decidido romper con los criterios de evaluación utilizados hasta el momento, para comenzar a delinear políticas más sustentables en términos económicos, que mejoren las formas en que se evalúan los resultados de investigación académica haciendo un esfuerzo por múltiples vías para hacer que la investigación sea más diversa, plural, transparente, cooperativa y colaborativa. 

Como señalan Shu, Liu y Larivière, China en la década de 1990 había apostado a crecer dentro de la lógica del sistema estadounidense, centrado en la alta productividad de artículos publicados en revistas indizadas en Web of Science (9). Según Matthias Wahls, este proyecto se enmarcó en una política global que China lanzó en 2004-2005 para exportar al mundo su cultura, su idioma y sus líneas de Investigación y Desarrollo. En este marco, conquistar la industria editorial y lograr publicar más trabajos que EEUU, fueron algunos de los tantos vehículos para lograr sus objetivos, que fueron acompañados del envío de multitudes de estudiantes e investigadores a universidades occidentales, y de la firma de acuerdos de cooperación académica (10). A la par de un crecimiento exponencial de su economía, según datos del National Science Board (11), las publicaciones de China casi se quintuplicaron en el período 2003-2018 y, como resultado, la producción de China, en términos de cantidad absoluta, superó a la de EEUU. China logró este crecimiento a través del otorgamiento de incentivos financieros y mayores fondos de investigación a quienes lograran publicar sus investigaciones en revistas indizadas en Web of Science (Core Collection), con la idea de lograr el liderazgo de China en la ciencia global (9). 

Sin embargo, cuando China llegó a la cima y analizó los resultados de su política, dio un giro en dirección diametralmente opuesta. Los cambios que propusieron las nuevas políticas emitidas de forma conjunta por el Ministerio de Ciencia y Tecnología y el Ministerio de Educación de China desarticulan en parte el esquema mercantilista y promueven el diálogo internacional desde una lógica más soberana. Como señala Jie Xu (12), para quienes soliciten financiamiento o se postulen a convocatorias a nivel nacional, las nuevas políticas de China establecen un máximo de cinco trabajos representativos, de los cuales, al menos un tercio, deben publicarse en revistas chinas.

Este nuevo plan reemplaza, por un lado, la idea hiperproductivista, dado que ni la cantidad de artículos publicados, ni el factor de impacto de las revistas en las que se publiquen los trabajos representativos se podrán utilizar como medida de desempeño o capacidad investigadora; y, por otro, alienta la publicación en revistas editadas en China, para lo cual se prevé apoyo financiero para el desarrollo de estas revistas.

En línea con los nuevos lineamientos de la política China, en 2021, Francia publicó el 2.° Plan Nacional para la Ciencia Abierta, cuya propuesta es apoyar “la bibliodiversidad para que la comunidad científica recupere el control del sistema editorial”(13). Según Frédérique Vidal, ministra de Educación Superior, Investigación e Innovación de Francia, para lograr este objetivo:

“…se deben inventar nuevas reglas de juego, incluidas las de construcción de un nuevo modelo económico para la publicación científica. En este sentido, es fundamental apoyar modelos editoriales diversos, sostenibles y globalmente viables. Para ello, se creará un fondo dedicado a la publicación científica abierta, dirigido por el Comité de Ciencia Abierta” (14). 

La propuesta francesa, al igual que la de China, es apoyar a las revistas editadas por universidades y sociedades científicas de sus propios países. Siguiendo esta línea, el Consejo Europeo de Investigación (15), que en 2022 distribuyó 2.400 millones de euros para financiar proyectos de investigación de la Unión Europea, anunció la modificación de los criterios de evaluación para el otorgamiento de los fondos, y convocó a desestimar las métricas corporativas como el “factor de impacto” y asumir que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado. Tal como expresa el informe, “la amplia implementación de los criterios de evaluación de la investigación que integran los principios de DORA es la clave para una transición equitativa a la ciencia abierta”(15).

En los Países Bajos, en 2021, la Universidad de Utrecht expresó públicamente su decisión de no tener en cuenta el factor de impacto como medida estándar del éxito científico, para todas las decisiones de contratación y promoción. En palabras de Paul Boselie, “se ha convertido en un modelo muy dañino que va más allá de lo que es realmente relevante para la ciencia y lo que debería promover la ciencia”, por lo que se propone un mayor compromiso con el trabajo en equipo y con la ciencia abierta (16). 

Y aquí es donde nos paramos a aplaudir de pie. Finalmente, quienes hace años vienen discutiendo el modelo de evaluación y circulación de las ciencias lograron incluir el tema en la agenda política, y las instancias políticas comenzaron a tomar decisiones en esa línea. 

Ahora bien, una de las particularidades del campo científico es que es ecosistémico. Las conversaciones de las ciencias son internacionales. Las comunidades científicas suelen dialogar con formulaciones teóricas y metodológicas surgidas en diversas regiones del planeta, y no solo en las ciencias duras: las desigualdades, las relaciones asimétricas de poder, la discriminación, el sufrimiento y la exclusión de grandes sectores de la población, la persistencia de las llamadas enfermedades “postergadas” son temas que atraviesan a todos los continentes. Así es como grupos de investigación de España, México, Francia o Rusia, por ejemplo, publican en revistas argentinas, y viceversa. Pero cada persona es evaluada bajo los parámetros establecidos por la institución en la que trabaja o por las políticas del país en el que se inserta esa institución. Los equipos de investigación que soliciten fondos de investigación son evaluados, a su vez, sobre la base de las políticas de la entidad financiadora. Por lo tanto, las políticas que se adopten en un país o en una institución repercuten en las revistas científicas de otros países. 

En este sentido, si bien las nuevas políticas europeas beneficiarían a las revistas editadas en América Latina, cuyo modelo de publicación se alinea desde hace años con los valores de la ciencia abierta ¿qué posición van a adoptar los propios gobiernos de los países de América Latina?, ¿seguirán escuchando al ala más conservadora de la comunidad científica, que defiende modelos jerárquicos y meritocráticos, en los que la validación científica queda en manos de un grupo de corporaciones con grandes intereses económicos, sin importar el daño que este modelo ocasiona a la creatividad científica, a la innovación y a la diversidad de perspectivas?, ¿seguirán avalando el desfinanciamiento de las revistas científicas editadas en sus propios países? 

En el caso de Argentina, existe una disociación entre los lineamientos de la política de ciencia y tecnología abocada, entre otros aspectos, a “fortalecer las capacidades para realizar ciencia de calidad orientada por agendas enfocadas en la realidad social y productiva de la Argentina y de los países de la región” (17), y la política de evaluación de la investigación científico-académica, abandonada a las lógicas tecnocráticas. Mientras la política en ciencia y tecnología se aborda en términos políticos, la política de evaluación de la investigación opera en términos corporativos y, en consecuencia, se produce una gran desarticulación entre lo que se estimula investigar –y, sobre todo, publicar– y los problemas y los actores con los que las ciencias podrían dialogar.

Mientras en los lineamientos de las políticas nacionales de ciencia y tecnología se propone “multiplicar los procesos de aprendizaje y acumulación de capacidades institucionales, organizacionales y tecnológicas, de coordinación con el sector productivo, de transferencia y extensión y de incentivo a la creación de pymes tecnológicas” (17), en el área de publicaciones se sigue estimulando el desfinanciamiento de las revistas científicas editadas en el país y la exportación de divisas para sumar dividendos a la industria editorial científica transnacional (18).

Quebrar el statu quo actual implicaría, por un lado, un cambio en la cultura de evaluación: salir de modelos jerárquicos, meritocráticos e individualistas, para empezar a privilegiar la creatividad científica, la innovación, la investigación colaborativa y, sobre todo, la diversidad de perspectivas. Pero, por otro lado, se deberían potenciar revistas con capacidad de generar diálogos internacionales y de disputar el capital simbólico que hoy detentan las revistas de la industria editorial científica, lo cual demanda desarrollos tecnológicos y de experticias para la apropiación de esos desarrollos que podrían ser financiados de forma centralizada para todas las revistas editadas en el país (19).

En el escenario actual, las nuevas iniciativas en materia de publicaciones se deciden de forma desarticulada respecto del gran conjunto de actores implicados en el problema. Reuniones acotadas a un grupo de personas, que no necesariamente representan a colectivos organizados, terminan implementando lineamientos generales totalmente desconocidos por las personas destinatarias de esas políticas. 

Para producir un cambio real es necesario restituir la dimensión política. Como señala Gadamer, “el concepto de la técnica ha desplazado al de la praxis, o dicho de otro modo, la competencia del experto ha desplazado a la razón política” (20). Al anular la razón política de las áreas de evaluación científica, la racionalidad técnica se torna en sí misma la racionalidad de la acción social. De este modo, las instancias gubernamentales dejan de operar políticamente y ese retroceso permite el avance de la lógica tecnocrática de la mano de la racionalidad técnica (21). Revertir esta dinámica y restituir la dimensión política demanda empezar a discutir en las universidades, en los institutos de investigación, en las carreras de grado y posgrado, en los hospitales y en todos los ámbitos en los que se realicen investigaciones, los porqués y los paraqués se investiga y se pone a circular esa investigación en el plano narrativo, de manera de conformar colectivos con capacidad de disputar otras lógicas.

Referencias

1. DORA. Declaración De San Francisco Sobre La Evaluación De La Investigación [Internet]. DORA. 2022 [citado 10 de marzo de 2023]. Disponible en: https://sfdora.org/read/read-the-declaration-espanol/

2. Martinovich V. Indicadores de citación y relevancia científica: Genealogía de una representación. Dados. 2020;63(2):e20190094. 

3. Martinovich V. Los dueños de la ciencia. Anfibia [Internet]. 2017; Disponible en: http://revistaanfibia.com/ensayo/los-duenos-de-la-ciencia/

4. Martinovich V. La dimensión política del acceso abierto: ¿el conocimiento como bien público o como mercancía? Salud Colectiva. 2015;11(3):297. 

5. The research counts, not the journal! [Internet]. 2017 [citado 10 de marzo de 2023]. (Nobel Prize). Disponible en: https://www.youtube.com/watch?v=6MQ8R0OyvyQ

6. Schekman R. How journals like Nature, Cell and Science are damaging science. The Guardian [Internet]. 2013 [citado 3 de enero de 2017]; Disponible en: https://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science

7. Adler R, Ewing J, Taylor P. Citation statistics [Internet]. International Mathematical Union, International Council of Industrial and Applied Mathematics, Institute of Mathematical Statistics; 2008. Disponible en: https://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

8. Zhang L, Sivertsen G. The New Research Assessment Reform in China and Its Implementation. Scholarly Assessment Reports. 2020;2(1):3. 

9. Shu F, Liu S, Larivière V. China’s Research Evaluation Reform: What are the Consequences for Global Science? Minerva. 2022;60(3):329–47. 

10. Tao T. Guest Post — The Emergence of Chinese STM Publishers: Threat or Opportunity? An Interview with Matthias Wahls [Internet]. The Scholarly Kitchen. 2019 [citado 10 de marzo de 2023]. Disponible en: https://scholarlykitchen.sspnet.org/2019/11/19/guest-post-the-emergence-of-chinese-stm-publishers-threat-or-opportunity-an-interview-with-matthias-wahls/

11. National Science Board. Science & Engineering Indicators [Internet]. Alexandria: National Science Foundation; 2018. Disponible en: https://www.nsf.gov/statistics/2018/nsb20181/assets/nsb20181.pdf

12. Xu J. Guest Post — How China’s New Policy May Change Researchers’ Publishing Behavior [Internet]. The Scholarly Kitchen. 2020 [citado 10 de marzo de 2023]. Disponible en: https://scholarlykitchen.sspnet.org/2020/03/03/guest-post-how-chinas-new-policy-may-change-researchers-publishing-behavior/

13. Ministére de l’Enseignement Supérieur et de la Recherche. Le Plan national pour la science ouverte 2021-2024 : vers une généralisation de la science ouverte en France | enseignementsup-recherche.gouv.fr [Internet]. Ministére de l’Enseignement Supérieur et de la Recherche. 2021 [citado 10 de marzo de 2023]. Disponible en: https://www.enseignementsup-recherche.gouv.fr/fr/le-plan-national-pour-la-science-ouverte-2021-2024-vers-une-generalisation-de-la-science-ouverte-en-48525

14. Vidal F. Lettre de la science ouverte | numéro 1 [Internet]. Ministére de l’Enseignement Supérieur et de la Recherche. 2021 [citado 10 de marzo de 2023]. Disponible en: https://www.ouvrirlascience.fr/wp-content/themes/coso2021/lettresinfo/lettre1.html

15. European Research Council. ERC plans for 2022 announced [Internet]. European Research Council; 2021. Disponible en: https://erc.europa.eu/news/erc-2022-work-programme

16. Woolston C. Impact factor abandoned by Dutch university in hiring and promotion decisions. Nature. 2021;595(7867):462. 

17. Ministerio de Ciencia, Tecnología e Innovación. Plan Nacional de Ciencia, Tecnología e Innovación 2030 [Internet]. Buenos Aires: Ministerio de Ciencia, Tecnología e Innovación; 2020. Disponible en: https://www.argentina.gob.ar/sites/default/files/plan_cti_2030_-_documento_preliminar_septiembre_2020.pdf

18. Martinovich V, Spinelli H. Barajar y dar de nuevo [Internet]. El Cohete a la Luna. 2020 [citado 10 de marzo de 2023]. Disponible en: https://www.elcohetealaluna.com/barajar-y-dar-de-nuevo/

19. Martinovich V. Covid-19 y dependencia científica. El Cohete a la Luna [Internet]. 2020 [citado 8 de diciembre de 2021]; Disponible en: https://www.elcohetealaluna.com/covid-19-y-dependencia-cientifica/

20. Gadamer HG. Verdad y método. 11a ed. Salamanca: Ediciones Sígueme; 2005. 

21. Martinovich V. Ciencia abierta en América Latina: repensar la interdependencia dinámica entre las ciencias y la sociedad. Revista Espacios. 2021;42(24):1–14.