lunes, 30 de septiembre de 2024

11,000 millones de dólares = Valor total del mercado de revistas científicas (estimaciones de lectura por pago y publicación por pago)

Publicado en Delta Think
https://deltathink.com/news-views-total-value-of-scholarly-journals-market/


Noticias y opiniones: Valor total del mercado de revistas científicas


16 de abril de 2024 | Dan Pollock y Heather Staines


Tras nuestro reciente análisis de los efectos de la inflación y los tipos de cambio, este mes examinamos los fundamentos subyacentes. Analizamos cómo se define el mercado de las revistas académicas, así como su valor total.


Antecedentes


Tras analizar los efectos de la inflación, recibimos algunas preguntas acerca de nuestras cifras sobre el valor total del mercado de revistas académicas. ¿Cuál era? ¿Disponemos de cifras actualizadas?


A continuación presentamos las cifras. Además de proporcionar información sobre el mercado total de las revistas académicas, esperamos que también ilustren que nuestros datos abarcan algo más que el segmento de acceso abierto. Estos análisis, que denominamos «Noticias y opiniones», comenzaron promocionando nuestros datos de acceso abierto. Sin embargo, para situar el acceso abierto en su contexto, primero tenemos que comprender el mercado en su conjunto, para poder calcular aspectos como la cuota del acceso abierto y su comparación con la de la publicación por suscripción. Tras reflexionar, hemos decidido hacer más explícita la realidad de nuestra amplia cobertura. Por ello, hemos añadido algunos elementos a nuestros análisis para mostrar la amplitud de datos y cobertura de que disponemos. Esperamos que esto resulte útil a nuestros lectores y destaque mejor la amplitud de la cobertura de datos de Delta Think.


¿Qué es «el mercado»?


Nuestro dimensionamiento del mercado se centra en lo que denominamos «el mercado direccionable de revistas académicas». Estimamos la cantidad total de dinero que cambia de manos para pagar las revistas académicas, independientemente del modelo de negocio. (Por tanto, nuestra estimación incluye tanto la lectura de pago como la publicación de pago, es decir, las suscripciones y el acceso abierto. No separa las revistas comunitarias, que se gestionan como parte de las operaciones cotidianas de las instituciones).


No existe una lista estándar de revistas académicas, y los distintos índices tienen una cobertura diferente1. Por tanto, para elaborar nuestro análisis tuvimos que tomar algunas decisiones pragmáticas sobre las definiciones y la disponibilidad de la información.


Estimamos una lista de revistas académicas de buena fe basándonos en su presencia en una serie de índices disponibles públicamente(2). Examinamos los resultados para excluir cosas como copias de repositorios, series de actas de congresos, etcétera.


Para calcular el dinero, realizamos una encuesta anual a las editoriales y les preguntamos confidencialmente por sus ingresos en revistas académicas. A continuación, proyectamos el total de nuestra muestra para formarnos una idea del mercado total. Para ello nos basamos en el número de artículos publicados y en una encuesta adicional para calcular la ponderación de la larga cola de editoriales más pequeñas, que operan a precios mucho más bajos que el mercado principal.


Al realizar nuestro análisis, hemos observado que la producción científica es irregular de un año a otro. Así pues, extraemos las tendencias subyacentes para evitar titulares engañosos debidos a variaciones a corto plazo, aunque permitimos cierta variación para tener en cuenta acontecimientos como COVID-19.


Es probable que haya "ruido" debido a diferencias en la interpretación y las definiciones. Sin embargo, el tamaño de nuestra muestra es significativo: abarca más del 40% de la producción publicada y la mayor parte del valor total. Aunque no pretendemos que nuestras cifras sean perfectas, creemos que son una buena aproximación dadas las limitaciones de la información disponible.


Total market value

Fuentes: Análisis de Delta Think. 2024, Delta Think Inc. Todos los derechos reservados.


La figura anterior muestra el valor anual estimado del mercado de revistas académicas durante un periodo de 5 años. En 2022, estimamos que será de 10.700 millones de dólares, cifra que aumentará a 10.800 millones en 2023. Estimamos que el crecimiento medio a largo plazo del mercado será del 2,3% anual. Los años siguientes a COVID registraron un crecimiento superior a la media, y el menor crecimiento en 2023 representa probablemente una corrección hacia las medias a largo plazo. Nuestra estimación para 2024 se basa en la proyección matemática de los datos del año anterior.


Conclusión


El resumen ejecutivo es que estimamos que el mercado total de las revistas académicas asciende a unos 11.000 millones de dólares, con un crecimiento anual en torno al 2,3%. (Como hemos señalado anteriormente, esto se traduce en una ligera disminución del crecimiento en términos reales).


Como ya hemos dicho, cualquier estimación sobre nuestro mercado es aproximada, ya que no existen datos claros y coherentes sobre su composición. Al realizar cualquier análisis de este tipo, el método se rige en última instancia por aspectos prácticos, y el análisis de los datos requiere juicios cualitativos. 


Es demasiado pronto para realizar nuestro análisis y encuesta completos para 2023, por lo que la cifra de 2023 es una proyección en este momento. Se basa en las opiniones expresadas en nuestra anterior encuesta a editores. Pronto enviaremos la última encuesta a los participantes habituales y actualizaremos nuestras estimaciones a finales de año, cuando hayamos tenido ocasión de recopilar y analizar los datos. Cuando hagamos nuestra actualización, será interesante ver los efectos de las recientes retractaciones y la ralentización de la producción de las principales editoriales de AA.


Como siempre, los suscriptores de nuestra base de datos de inteligencia de mercado (que algunos de ustedes conocen como OADAT; actualmente estamos cambiando de nombre) pueden ver muchos más detalles detrás de los gráficos, incluidos los desgloses detallados por suscripción, acceso totalmente abierto y contenido híbrido de acceso abierto.


********************************


1 Pranckutė, R. Web of Science (WoS) y Scopus: Los titanes de la información bibliográfica en el mundo académico actual. Publicaciones 2021, 9, 12. https://doi.org/10.3390/publications9010012


2 Buscamos revistas que tengan uno de los siguientes registros: El Registro Noruego de Revistas Científicas, Series y Editoriales de Nivel 1 o 2, o tienen un Sello DOAJ, o están en la lista aprobada de Excelencia en Investigación para Australia (ERA) del Consejo Australiano de Investigación, o tienen un SNIP y son una fuente citada.



*************************************

News & Views: Total Value of Scholarly Journals Market


April 16, 2024  |    Dan Pollock and Heather Staines


Following our recent analysis of the effects of inflation and exchange rates, this month we examine the underlying fundamentals. We look at how the scholarly journals market is defined, as well as its total value.

Background

After we explored of the effects of inflation, we received some questions about our figures on the total value of the scholarly journals market. What was it? Do we have up-to-date numbers?

We cover the numbers below. In addition to providing insight about the total scholarly journals market, we hope they will also illustrate that our data covers more than just the open access segment. These pieces of analysis – which we brand “News and Views” – started life promoting our OA data. However, to put OA into context, we first need to understand the whole market, so we can work out things like OA’s share and how it compares with that of subscription publishing. Upon reflection, we decided to make the reality of our broad coverage more explicit. We have therefore made a few additions to our analyses to show the breadth of data and coverage we have. We hope this will prove useful to our readers and better highlight Delta Think’s breadth of data coverage.

What is “the market”? 

Our market sizing focuses on what we term “the addressable scholarly journals market.” We estimate the total amount of money changing hands to pay for scholarly journals, regardless of business model. (So our estimate includes both paid readership and paid publishing – i.e. subscriptions and open access. It does not separate out community journals, which are managed as part of institutions’ day-to-day operations.)

There is no standard list of academic journals, and different indexes have different coverage1. To produce our analysis, we therefore needed to take some pragmatic decisions about definitions and availability of information.

We estimate a list of bona fide academic journals based on their presence in a number of publicly available indexes2. We parse the results to exclude such things as repository copies, conference proceedings series, and so on. 

To estimate the money, we run an annual survey of publishers and ask them confidentially about their revenues for scholarly journals. We then project the total from our sample to form a view of the total market. We do this based on the number of articles published and some further survey work to estimate the weighting of the long tail of smaller publishers, which operate at much lower price points to the core market.

In running our analysis, we have noticed that scholarly output comes in fits and starts from one year to the next. Thus, we extract underlying trends to avoid misleading headlines due to short-term variations, although we allow for some variation to account for events such as COVID-19.

There is likely to be “noise” due to differences in interpretation and definitions. However, our sample size is significant – covering more than 40% of published output–and the lion’s share of total value. While we don’t claim our numbers to be perfect, we think they are a good approximation given the limitations of the information available. 

Total market value

Sources: Delta Think analysis. © 2024, Delta Think Inc. All rights reserved.

The figure above shows the estimated annual value of the scholarly journals market over a 5-year period. In 2022, we estimated it to be $10.7bn, rising to $10.8bn in 2023. We estimate the long-term average growth of the market to be 2.3% per year. The years following COVID saw above-average growth, and the lower growth in 2023 likely represents a correction back to long-term averages. Our estimate for 2024 is based on mathematically projecting prior year’s data.   

Conclusion

The executive summary is that we estimate the total scholarly journals market to be worth around $11bn, growing at around 2.3% per year. (As we have previously noted, this translates to a mild decrease in growth in real terms.)

As we discussed above, any estimates about our market are approximations, as there is an absence of clean and consistent data about the make-up of the market. In running any analysis like this, the method is ultimately driven by practicalities, and analyzing data requires qualitative judgements.   

It is too early to run our full analysis and survey for 2023, so 2023’s figure is a projection at this point. It is based on indications of sentiment from our previous publisher survey. We will be sending out the latest survey to the usual participants soon, and we will update our estimates later this year once we have had a chance to gather and analyze the data. When we run our update, it will be interesting to see the effects of the recent retractions and the slow-down in output of the major OA publishers.

As ever, subscribers to our market intelligence database (which some of you know as the OADAT; we’re currently in the process of rebranding) can see much more detail behind the charts, including detailed breakouts for subscription, fully open access, and hybrid open access content.  


1 Pranckutė, R. Web of Science (WoS) and Scopus: The Titans of Bibliographic Information in Today’s Academic World. Publications 2021, 9, 12. https://doi.org/10.3390/publications9010012

2 We look for journals which have one of: The Norwegian Register for Scientific Journals, Series and Publishers Level 1 or 2 status, or have a DOAJ Seal, or are on the Australian Research Council’s Excellence in Research for Australia (ERA) approved list, or have a SNIP and are a citing source.

**************************


jueves, 26 de septiembre de 2024

PEER REVIEW E INTELIGENCIA ARTIFICIAL

Investiga. Monográficos sobre investigación. Biblioteca de la Universidad de Sevilla
https://bib.us.es/sites/bib3.us.es/files/investiga_sept_2024.pdf#page=1


PEER REVIEW E INTELIGENCIA ARTIFICIAL

Introducción

Desafíos del peer review: un instrumento tan necesario como molesto

Peer review e inteligencia artificial

Cómo ayuda la IA a la revisión por pares

Bibliografía

Novedades


Introducción


Por segundo año consecutivo, la Biblioteca de la Universidad de Sevilla se adhiere a la iniciativa Peer Review Week. Durante la semana del 23 al 27 de septiembre de 2024, este evento anual celebrará y redundará en el valor de la revisión por pares que reúne a las partes interesadas en la comunicación académica, incluidos editores académicos, asociaciones, instituciones y personal investigador.


Este año, esta semana está dedicada al tema “Innovación y tecnología en la revisión por pares”, con lo que se pretende debatir sobre asuntos como los siguientes:


• ¿Se puede utilizar la IA de forma que complemente el valor que aporta el revisor?


• ¿Cómo se puede utilizar para ampliar el grupo de revisores y ofrecer igualdad de

oportunidades a los académicos de países subrepresentados?


• ¿Es posible abordar la crisis de integridad de la investigación en la industria con la ayuda de nuevos enfoques y tecnologías?


• De cara al futuro, ¿podemos esperar un enfoque más colaborativo en el que la tecnología complemente la experiencia humana en la revisión por pares?

Como ya hicimos el pasado año con el monográfico INVESTIGA sobre "Peer Review y Ciencia Abierta", volvemos a colaborar en el debate abierto por la Peer Review Week con este monográfico sobre nuevas tecnologías y aplicaciones en la revisión por pares, en la que abarcaremos diferentes aspectos en los que la tecnología puede ayudar a la revisión por pares, centrándonos, especialmente, en cómo afecta la aparición de la inteligencia artificial generativa en este proceso.


Recomendamos, además, seguir las actividades de la Semana de Revisión por Pares 2024 anunciadas en su web, así como seguir las últimas novedades en las redes sociales a través de @PeerRevWeek y con los hashtags: #PeerReviewWeek y #AIinPeerReview.


Desafíos del peer review: un instrumento tan necesario como molesto


El sistema de revisión por pares está siendo cuestionado debido a diversos problemas que enfrenta y que de momento están lejos de poder resolverse. A pesar de no haberse encontrado un sistema de evaluación mejor, en los últimos años se han puesto en evidencia y se han resaltado algunas de sus debilidades, al tiempo que aumenta la presión por publicar. 


Podemos destacar, entre las debilidades de la revisión por pares, las siguientes (Clarisó Viladrosa, 2014; García-Perdomo y López-Ramos, 2021): 


• Tiempo de las respuestas: la revisión es un proceso riguroso, que consume tiempo. 

• Dificultad para encontrar revisores. 

• Rechazo de ideas poco convencionales. 

• Inconsistencia entre dos o más revisiones. 

• Calidad de las revisiones. 

• Riesgo de malas prácticas por parte de los revisores. 

• Sesgos en la revisión, al utilizar criterios diferentes en función de la nacionalidad, género, etc. de los autores del artículo en revisiones que no son doble ciego


Aunque existen motivaciones, tanto altruistas como egoístas, para llevar a cabo una revisión (Codina Bonilla, 2024), el sistema de publicación científica pasa por un momento difícil debido a la cantidad de manuscritos que se envían y la dificultad para encontrar revisores y agilizar los tiempos.


Que sea una actividad no remunerada es, a menudo, una disuasión al encontrar revisores. Si bien algunas editoriales han comenzado a ofrecer ciertas ventajas a las personas que revisan artículos en sus revistas (como descuentos en APCs, etc.) con el fin de mejorar sus tiempos de revisión, esto no ha mejorado mucho la situación y tiene su contrapartida en aquellas revistas que no pertenecen a grandes editoriales y no cuentan con recursos para ofrecer este tipo de alicientes. 


Por otra parte, la revisión por pares es una actividad que requiere un gran esfuerzo por parte del revisor y, como hemos visto, puede llegar a consumir mucho tiempo, retrasando los tiempos de respuesta y alargando los plazos de publicación. 


Estos retrasos en la revisión llevan a grandes cuellos de botella, especialmente en aquellas revistas mejor situadas en los sistemas de indexación. 


Pese a los inconvenientes, la revista como medio de difusión de los resultados científicos y la revisión por pares como forma de garantizar la calidad de lo publicado se mantiene como la forma más fiable –que no infalible- y rápida de comunicar la ciencia, garantizar su calidad y asegurar el avance científico. Como afirma Clarisó Viladrosa (2014), el peer review "es el peor sistema de selección de artículos científicos… a excepción de todos los demás que se han ensayado". Así pues, el reto es mantener este sistema, minimizando sus inconvenientes.  


Peer Review e inteligencia artificial


En este contexto, se ha planteado la posibilidad de que la tecnología permita mejorar los procesos de revisión de los artículos científicos, siendo la Inteligencia Artificial la que, por su potencialidad, más expectativas despierta. La introducción de la Inteligencia Artificial en la revisión ha generado, cómo no, un debate tanto sobre la oportunidad como sobre la potencialidad de ésta para realizar una tarea que requiere de un gran esfuerzo intelectual y de conocimientos específicos.


Cárdenas (2023) resume el debate sobre el uso de la IA en la evaluación en dos posiciones: 


  • Los contrarios al uso de la IA en la evaluación del conocimiento científico arguyen que los modelos de lenguaje de gran tamaño (LLM) son opacos -se desconoce con qué datos han sido entrenados-, y sesgados al estar basados en datos pasados. 


  • Los que defienden el uso de la IA en la revisión de artículos científicos tienen dos argumentos principales, que se basan en la reducción del tiempo de evaluación y en que “el conocimiento que un revisor humano tiene sobre un tema puede ser parcial u obsoleto, mientras que herramientas de IA especializadas pueden valorar de forma más global al tener acceso a grandes bases de datos científicas”. 


Pero cuando hablamos de la introducción de la IA en el proceso de revisión, no nos referimos únicamente a software o aplicaciones específicamente desarrolladas para llevar a cabo una revisión completa de los envíos. En los últimos años han ido apareciendo diferentes herramientas basadas en modelos de procesamiento de lenguaje natural (PLN) o en grandes modelos lingüísticos (LLM) que apoyan o automatizan diferentes aspectos de este proceso, desde la detección del plagio hasta la revisión de las referencias. Kousha y Thelwal (2024), tras analizar diferentes herramientas y estudios sobre el tema, concluyen que la inteligencia artificial aún está lejos de poder reemplazar a los revisores humanos. No obstante, afirman que las herramientas de IA disponibles para la revisión pueden ser útiles para la detección rápida de errores obvios, la revisión gramatical o para la comprobación metodológica o estadística, facilitando ciertas tareas a los revisores y acortando el tiempo empleado por éstos. 


Cómo ayuda la IA a la revisión por pares


Si bien todavía no se puede confiar en la IA para hacer revisiones completas, existen numerosas herramientas que pueden facilitarla. Estas herramientas ofrecen una amplia gama de funcionalidades que optimizan y mejoran la calidad de las evaluaciones.


En el siguiente listado se muestran, a modo de ejemplo, algunas aplicaciones según la ayuda que pueden prestar a la revisión (COPE, 2023 ; Kousha & Thelwall, 2024) : 

[Este listado no pretende ser exhaustivo y las aplicaciones mencionadas pueden estar sujetas a cambios y
actualizaciones propias del rápido avance de estas tecnologías. La Biblioteca no ha testeado estas aplicaciones y pueden
estar sujetas a pago o suscripción.]

Rechazo automático de manuscritos deficientes


iThenticate y Turnitin (suscrito por la US) son herramientas que utilizan modelos de IA para la detección de plagio y pueden integrarse en los sistemas de gestión de manuscritos para identificar automáticamente trabajos que no cumplen con los estándares de originalidad. Además, se están desarrollando herramientas más avanzadas. 

Asistencia en la detección de sesgos y errores 

Herramientas emergentes como AI Fairness 360 de IBM están diseñadas para detectar sesgos en datos y modelos. Aunque más comúnmente utilizadas en análisis de datos, estas herramientas pueden adaptarse para revisar manuscritos en busca de sesgos metodológicos o de interpretación en estudios científicos.

Generación de informes de revisión

ChatGPT se puede utilizar para redactar borradores iniciales de revisiones un revisor podría usar ChatGPT para generar un resumen de los puntos clave de un manuscrito y luego afinar ese resumen con detalles adicionales basados en su propio juicio y experiencia. 

Verificación de la estructura del manuscrito 

Penelope.ai verifica si la estructura de un manuscrito cumple con las guías de presentación de la revista, incluyendo la página del título, el resumen, el estilo de citación, referencias, tablas y figuras, y otra información relevante. Esto reduce la necesidad de revisiones manuales por parte de los revisores, editores o editores de la revista.

Mejora lingüística de los informes y accesibilidad para revisores no nativos
Herramientas como Grammarly y Writefull (suscrito por la Universidad de Sevilla) ayudan a mejorar la calidad gramatical, la claridad y la coherencia del lenguaje. Se pueden usar
para revisar el informe de revisión en busca de errores gramaticales y mejorar el tono para que sea más académico y claro antes de enviar la evaluación final.

Coincidencia de referencias con citas en el texto

Recite verifica y resalta automáticamente si las citas en el texto del manuscrito coinciden con la lista de referencias y viceversa, asegurando la precisión en la citación y reduciendo
errores comunes en la preparación del manuscrito.

Estandarización de formatos de revisión

OpenAI Codex puede ser utilizada para crear formatos de revisión estándar que faciliten la comparación y evaluación. Por ejemplo, un editor podría usar Codex para generar un formato de plantilla de revisión con secciones predefinidas que los revisores deben completar, asegurando así una uniformidad en la estructura de los informes. 

Verificación estadística automatizada

StatCheck detecta errores estadísticos en los trabajos presentados, lo que permite a los revisores identificar errores en los análisis estadísticos y verificar la plausibilidad de los resultados presentados en los artículos.

Verificación de transparencia y reproducibilidad

Dimensions Research Integrity preCheck es una herramienta que analiza manuscritos enviados en busca de evidencia de transparencia y reproducibilidad, como declaraciones
de acceso a datos y la mención de las versiones del software utilizado, ayudando a los revisores a evaluar la solidez y la replicabilidad de la investigación presentada

Estas herramientas de IA ofrecen una variedad de funciones que pueden mejorar la eficiencia y la calidad del proceso de revisión por pares en la publicación académica. También pueden ayudar al personal investigador como guías en la elaboración de sus manuscritos. Sin embargo, es fundamental que su implementación esté bien gestionada para mantener la integridad del proceso y garantizar que las decisiones editoriales sigan siendo justas y precisas.

Como es obvio, hay que tener en cuenta que el uso de estas herramientas tiene implicaciones éticas importantes. Estas herramientas suelen implicar la manipulación o procesamiento de
información sensible, por lo que es fundamental considerar aspectos como la privacidad y la propiedad intelectual. Esto es especialmente relevante cuando se utilizan en la revisión por
pares, ya que pueden aplicarse sobre trabajos de terceros o implicar el análisis de datos que no nos pertenecen o que están sujetos a protección legal. Recomendamos, por lo tanto, que su uso sea cuidadoso y siempre en cumplimiento con las normativas vigentes sobre confidencialidad, protección de datos y propiedad intelectual.

Bibliografía
Cárdenas, J. (2023). Inteligencia artificial, investigación y revisión por pares: escenarios futuros y estrategias de acción. Revista Española de Sociología, 32(4), a184.
https://doi.org/10.22325/fes/res.2023.184

COPE (13 de octubre de 2023). Artificial intelligence (AI) and peer review. https://youtu.be/HJYB1IaS598?si=NPoSpaN-sN5apxvY

García-Perdomo, H. A., & López-Ramos, H. E. (2021). La Importancia de la Revisión por Pares para Avanzar en Ciencia. 

Revista Urología Colombiana Colombian Urology Journal, 30(02), 087-088. https://doi.org/10.1055/s-0041-1730409

Kousha, K. and Thelwall, M. (2024). Artificial intelligence to support publishing and peer review: A summary and review. Learned Publishing, 37(1), 4-12. https://doi.org/10.1002/leap.1570




"¡Quemadlo con fuego!" - El uso de ChatGPT «polariza» a los revisores

Publicado en THE Times Higher Education https://www.timeshighereducation.com/news/corrupting-chatgpt-use-polarises-peer-reviewers   Quemadlo...