Circulado en lista ThinkEPI ThinkEPI <000011958d4229c1-dmarc-request@listserv.rediris.es>
Indicadores de calidad para revistas de ciencias sociales en la era de la bibliometría narrativa
Rodrigo Sánchez-Jiménez
https://www.directorioexit.info/ficha1661
https://orcid.org/0000-0002-3685-7060
Universidad Complutense de Madrid
Iuliana Botezan Albu
https://www.directorioexit.info/ficha1690
https://orcid.org/0000-0002-0167-8986
Universidad Complutense de Madrid
ibotezan@ucm.es
1. Introducción
En los últimos años hemos visto manifestaciones crecientes de numerosas agencias e instituciones involucradas en la evaluación, producción y financiación de la ciencia en favor de la implantación de cambios sustanciales en los modelos de evaluación de la ciencia. Este movimiento, del que CoARA es su cara más conocida, hace énfasis en la importancia de la calidad y el impacto de los resultados de investigación, en la conveniencia de adaptarse a las nuevas normas de evaluación, la necesidad de combinar una aproximación cualitativa a la evaluación de la producción científica (teniendo en cuenta la importancia del modelo basado en revisión por pares) con el uso de métodos cuantitativos basados en el uso responsable de indicadores cuantitativos.
La conocida como “bibliometría narrativa” aporta un método con el que contextualizar la influencia de las publicaciones mediante análisis cualitativos y narrativos. Las claves del planteamiento de esta metodología son claras ya desde la propia definición del concepto
El uso de indicadores bibliométricos para generar relatos y narrativas que permitan la defensa y exposición de un currículo científico y/o sus contribuciones individuales en el marco de un proceso de evaluación científica (Torres-Salinas et. Al., 2024).
Las propuestas de CoARA están respaldadas por algunas de las agencias más importantes en España desde el punto de vista de la evaluación de la ciencia, como Aneca, Fecyt, ACUEE, ACCUA, AQU, AVAP, etc. En los últimos años, además, se ha podido observar una tendencia progresiva hacia la inclusión de las perspectivas propias de esta forma de ver la evaluación científica en convocatorias públicas, como las acreditaciones y los tramos de investigación (sexenios).
Aunque de facto siga siendo imprescindible publicar en buenos cuartiles para tener esperanzas de pasar el trámite sin sobresaltos, lo cierto es que ahora hay más elementos de juicio que pueden utilizarse para explicar, justificar y aclarar las virtudes de la producción científica de los interesados. Estos elementos tienen ahora un valor muy variable, pero indiscutiblemente comienzan a ser tenidos en cuenta y, por tanto, merece la pena revisarlos y explicar cómo van a encajar en el sistema.
El aspecto clave para nosotros rodea el concepto un poco vago, pero muy familiar, de “valor curricular de las revistas”. Dicho de otra forma, la relevancia que tiene publicar en uno u otro medio de difusión (fundamentalmente revista, pero no solamente) para la carrera del investigador, bien sea para que comience o se consolide, se vea impulsada por los incentivos que pueda proporcionar el sistema.
El valor curricular de las revistas es un concepto que, además, es interesante para un público amplio, ya que concita factores relevantes tanto para el autor como para el editor de revistas y para los que planifican las políticas científicas. En el caso de este trabajo nos centraremos en los intereses del editor y del autor, ya que la metodología que usamos toma como axioma la voluntad y opinión de quienes diseñan la política científica.
Los investigadores están razonablemente bien familiarizados con las formas en las que se les evalúa, por motivos evidentes, y, además, existe ya una literatura significativa que debate y analiza la importancia de poner de manifiesto el paradigma de evaluación representado por CoARA y que se puede apreciar (al menos parcialmente) en las últimas revisiones de varias de las convocatorias más importantes de evaluación académica.
Por otro lado, el caso de los editores es bastante diferente, ya que hasta la fecha (o al menos hasta donde nuestras pesquisas han podido llegar), no hay mucho publicado. El objetivo de este trabajo es, por tanto, el de contribuir al debate general, introduciendo la perspectiva del editor y de la revista en la conversación. Finalmente, los editores se beneficiarían de la mejora de la sinergia existente entre los intereses de sus publicaciones y los de los autores. Esta sinergia se potencia claramente alrededor del concepto de valor curricular de la revista.
Para conseguir este objetivo pretendemos presentar algunas ideas que permitan traducir los principios de la bibliometría narrativa a acciones concretas que las revistas puedan llevar a cabo para facilitar el proceso de construcción de la narración. Las nuevas tendencias en evaluación integran una visión más amplia del impacto científico y social, lo que ofrece nuevas oportunidades para que las revistas, especialmente aquellas dirigidas por equipos editoriales emergentes o con recursos limitados, refuercen su posicionamiento en el ecosistema académico.
2. Metodología
Hemos revisado la documentación publicada por las agencias y organismos más importantes para la evaluación de la actividad investigadora de los autores en España:
- Agencia Nacional de Evaluación de la Calidad y Acreditación (Aneca), para acreditaciones.
- Agencia Estatal de Investigación (AEI), para proyectos.
- Comisión Nacional Evaluadora de la Actividad Investigadora (CNAI), para sexenios.
Además, hemos revisado los criterios de agencias autonómicas para la acreditación de profesores.
- Agencia para la Calidad Científica y Universitaria de Andalucía (ACCUA).
https://ws262.juntadeandalucia.es/accua
- Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU).
- Axencia para a Calidade do Sistema Universitario de Galicia (ACSUG).
- Agencia Canaria de Calidad Universitaria y Evaluación Educativa (ACCUEE).
https://www3.gobiernodecanarias.org/educacion/accuee
- Agencia de Calidad del Sistema Universitario de Castilla y León (ACSUCYL).
- Agencia de Calidad y Prospectiva Universitaria de Aragón (ACPUA).
- Agència de Qualitat Universitària de les Illes Balears (AQUIB).
- Agència Valenciana d’Avaluació i Prospectiva (AVAP).
- Agencia de Calidad, Evaluación y Acreditación del Sistema Universitario Vasco (UNIBASQ).
También hemos revisado los requisitos de la convocatoria del sello de calidad Fecyt y los requisitos de indexación de SciELO.
-Fundación Española para la Ciencia y la Tecnología (Fecyt).
https://calidadrevistas.fecyt.es
Como resultado de este análisis hemos creado un listado de ítems a los que hemos asociado un grado diverso de importancia dependiendo del énfasis que se le da en la documentación original que hemos revisado. De entre estos ítems, desarrollamos en la sección de resultados la interpretación de los que creemos que tienen mayor relevancia desde la perspectiva de la bibliometría narrativa, ya que entendemos que están mejor alineados con los principios básicos que impulsan CoARA. También hacemos algunas precisiones sobre cómo podrían ser incorporados por parte de los editores como parte de la información que ofrecen sus revistas.
https://www.coara.org/agreement
3. Resultados
Podemos clasificar en cinco grupos fundamentales los ítems que hemos aislado en la documentación revisada: Acceso, apertura e internacionalización; Calidad editorial y prestigio institucional; Ética e integridad científica; Transparencia y procesos editoriales e Impacto; indexación y visibilidad. Hemos reunido estos indicios en una checklist de elementos sobre los que la revista puede trabajar de cara a promover la aplicación de los principios adecuados y también de cara a que los autores puedan explicar y defender sus aportaciones basándose en ellos.
Tabla 1. Checklist de elementos a fortalecer por parte de la revista
Información sobre la publicación en acceso abierto
Para las convocatorias de sexenios y acreditaciones para diferentes figuras de profesorado comienza a ser importante la publicación de acuerdo con los principios de la ciencia abierta. El depósito de la aportación en un repositorio institucional, temático o generalista no se valora porque es ya un requisito imprescindible. En cambio, sí se valora la publicación en una revista en acceso abierto y especialmente si esta sigue la ruta Diamante (sin pago para publicar y para leer). Para hacer esto evidente es necesario explicar las condiciones de acceso y publicación con claridad. Es importante utilizar conceptos reconocidos, como describir a la revista como una revista de Acceso Abierto, referirse a la Vía Diamante o incluir un sello de indexación en DOAJ o la base de datos de revistas diamante de la UNAM, accesible en:
https://digitalab-ssie.unam.mx/acuerdos/buscador_diamante
Información relevante sobre el prestigio de la editorial que publica la revista
El prestigio de una editorial es difícil de definir, pero, en general, podemos decir que está fuertemente relacionado con su visibilidad y reconocimiento en el imaginario colectivo, con la pertenencia a una institución que a su vez es prestigiosa (que supondría el mismo “problema”). Sin embargo, es posible encontrar algunas ideas que generarían consenso, como la tradición científica o su volumen de publicación (¿la publica alguna editorial de las Big Five?, ¿se trata de una editorial académica grande y de gran recorrido?, ¿está respaldada por una sociedad científica?, ¿tiene la editorial presencia en bases de datos internacionales?).
Información sobre los compromisos éticos de la revista
Declarar abiertamente la adhesión a códigos internacionales de ética editorial es muy importante. Se recomienda mencionar de forma explícita en la misma revista la adhesión (de la institución, de la editorial o de la revista misma, según el caso) al Committee On Publication Ethics (COPE), un hub internacional que promueve la integridad, la transparencia y las buenas prácticas en la edición académica.
La referencia explícita a medidas anti-plagio es también interesante, aunque a día de hoy es mucho menos relevante que hace algunos años por la extensión de las herramientas IA. Precisamente, hacer una referencia a la política sobre IA de la revista es de mucha actualidad.
Mencionar abiertamente protocolos de actuación en caso de detección de malas prácticas también sería recomendable.
Ausencia de prácticas endogámicas
Cuando los autores de los trabajos que publica una revista son miembros del consejo editorial o de la institución que edita la revista existe un potencial conflicto de intereses. La publicación sistemática por parte de autores involucrados en el proceso de edición o vinculados a la institución editora suele ser valorada como una práctica endogámica que es importante evitar. Hay advertencias claras en este sentido tanto por parte de agencias como de instituciones que otorgan “sellos” de evaluación y editores de bases de datos.
En la convocatoria de sexenios se solicita que el 75% de los autores/as sean externos al comité editorial y a la organización que publica la revista. La Fecyt exige el 80% para la obtención del sello, mientras que SciELO sólo pone acento en justificar los casos en los que la autoría interna supera el 50%. Los requisitos de WoS y Scopus no ofrecen recomendaciones específicas, pero sí una idea genérica de una diversidad geográfica que sea consistente con la política editorial declarada.
Publicación de información sobre la contribución de los autores
Es una práctica que se ha extendido y que se requiere a los autores en algunos procesos. Los autores se ven obligados a explicar cuál es su contribución para los artículos que someten a evaluación. Es mucho más creíble cuando esta contribución ha sido publicada explícitamente por la revista. Se puede utilizar la taxonomía CRediT. No es especialmente importante para las fuentes consultadas, pero tampoco especialmente difícil de implementar.
Disponibilidad de estadísticas de uso para los autores
Esto permite demostrar a los autores la relevancia de su trabajo en función del número de visualizaciones o descargas. Constituye un indicio diferente con respecto al de las citas, que es independiente de la indexación de la revista y hasta cierto punto del impacto académico del trabajo. Las plataformas de publicación como OJS deben permitir hacerlo. Alternativamente, se pueden obtener en Scopus, pero sólo si la revista está indexada y, en cualquier caso, sería una fracción del total real.
Indexación en plataformas que recaban indicios de impacto social
En los últimos años se ha puesto cierto énfasis en desarrollar procedimientos de evaluación que tengan en cuenta formas alternativas al impacto académico. El impacto social es más difícil de operacionalizar y medir, pero hay plataformas que publican indicios relevantes para revistas científicas. La suscripción de la revista a los servicios de recolección de altmétricas no es gratuita, pero los autores pueden buscar sus propios artículos en bases de datos que recogen información altmétrica. Lo más sencillo es estar indexados en Dimensions (Altmetric.com) o Scopus (PlumX). Esto garantiza la disponibilidad de indicios de impacto social cuando los artículos publicados sean capaces de generarlos.
Publicación de datos y código
La publicación de datos y código constituye una de las prácticas más visibles de la ciencia abierta y un requisito cada vez más valorado en las convocatorias de evaluación de la actividad investigadora. Depositar los conjuntos de datos, materiales suplementarios o código fuente utilizados en la investigación en el repositorio institucional de la universidad o en repositorios reconocidos (como Zenodo, Figshare, OSF) contribuye a reforzar la transparencia y la replicabilidad de los resultados.
Asignar a estos materiales un DOI independiente, mediante servicios como DataCite o Crossref, permite citarlos de forma normalizada y establecer un vínculo verificable entre los datos y el artículo principal.
Desde la perspectiva editorial, las revistas pueden fomentar esta práctica incorporando una sección específica en las instrucciones para autores, adoptando políticas de depósito de datos y proporcionando ejemplos de citación de conjuntos de datos o software.
Además, integrar en la plataforma de publicación metadatos estructurados que enlacen el artículo con los recursos depositados incrementa la visibilidad de la revista en ecosistemas de indexación que valoran la apertura y la trazabilidad de la investigación.
Información sobre la política editorial, el proceso de evaluación e instrucciones para los autores
Esta es una información común en todas las revistas. Es conveniente que sea clara y que se pueda distinguir explícitamente en la página de la revista. Es imprescindible para cualquier mecanismo de evaluación de revistas mencionar el proceso de revisión por pares de manera explícita (doble ciego, independencia de los revisores, revisión abierta, etc.). Aclarar los criterios de aceptación (o rechazo) abiertamente, es un aspecto básico.
4. Conclusiones
Los editores de revistas científicas deben ser conscientes de la aparición de nuevas prácticas y requisitos que se están desarrollando en un contexto internacional de reinterpretación de los procesos de evaluación de la investigación. Estos cambios han comenzado a afectar de manera significativa el valor que tiene para los autores publicar en las revistas científicas. Este es un fenómeno que parece estar destinado a extenderse de manera significativa por el mundo y para el que podemos prepararnos mejor si llevamos a cabo una reflexión consciente de sus implicaciones. Este trabajo es un pequeño grano de arena en este sentido.
El proceso de transformación de los sistemas de evaluación científica no sólo afecta a los investigadores, sino también a las revistas académicas que deben adaptarse a nuevas expectativas de transparencia, integridad y apertura. Los editores se enfrentan al desafío de traducir los principios de la ciencia abierta y la bibliometría narrativa en prácticas concretas que fortalezcan el valor curricular de sus publicaciones. Dicho de otra forma, facilitar prácticas que favorezcan una mejor justificación de los resultados de las investigaciones por parte de los autores, siendo un proceso en el que todos ganan en calidad, transparencia y valor.
La adopción de políticas claras sobre acceso abierto, ética editorial, publicación de datos y código y la comunicación de estadísticas de uso o impacto social no sólo mejoran la posición de las revistas ante los sistemas de evaluación, sino que también contribuyen a una mayor credibilidad del ecosistema científico en su conjunto.
En última instancia, la incorporación de estos elementos puede facilitar que los autores construyan narrativas de evaluación más ricas y mejor contextualizadas, en las que la calidad y la contribución social de la investigación pesen tanto como sus indicadores bibliométricos tradicionales. Este trabajo pretende servir como guía preliminar para avanzar hacia ese objetivo compartido por autores y editores.
Referencias
Torres-Salinas, Daniel; Orduña-Malea, Enrique; Delgado-Vázquez, Ángel; Gorraiz, Juan; Arroyo-Machado, Wenceslao (2024). “Foundations of narrative bibliometrics”. Journal of informetrics, v. 18, n. 3, 101546.
https://doi.org/10.1016/j.joi.2024.101546
