Publicado en blog Impact of Social Sciences (London School of Economics-LSE)
https://blogs.lse.ac.uk/impactofsocialsciences/2023/10/23/the-strain-on-academic-publishing/
La presión sobre la publicación académica
Dan Brockington
Paolo Crosetto
Pablo Gómez
Mark A. Hanson
23 de octubre de 2023
Basándose en una década de datos sobre publicaciones académicas, Dan Brockington, Paolo Crosetto, Pablo Gómez Barreiro y Mark Hanson sostienen que una industria editorial académica basada en el volumen plantea graves peligros para la evaluación y la utilidad de las publicaciones de investigación.
¿Se publicarían tantos artículos académicos si los beneficios de las editoriales fueran menores?
Todos conocemos las presiones para publicar. Los incentivos para generar cada vez más material, para "abrumar" con un largo currículum son poderosos. Al jubilarse, a los científicos les gusta que les celebren los cientos de artículos que han escrito. Los historiadores cuentan sus libros. ¿Y si acabas de empezar y no has publicado nada? Ya sabe lo que dice la frase: publica o...
Décadas de este comportamiento han puesto al mundo académico en serios aprietos. Ahora se preparan tantos artículos que es difícil encontrar revisores. Y en cuanto a su lectura, probablemente se alcanzó el punto máximo hace años. Si comparamos sólo los artículos indexados con el aumento del número de doctorados, resulta evidente que la publicación científica está bajo presión (Fig. 1).
Fig.1: Crecimiento de artículos indexados (línea continua) y nuevos doctores -PhDs- (línea discontinua)
Pero al buscar en nosotros mismos, en los investigadores, la causa de este problema, ¿estamos buscando en el lugar adecuado? ¿Y si nos centramos en los editores? ¿Hasta qué punto su comportamiento, o mejor dicho, sus modelos de negocio, son la causa del aumento del número de artículos?
En un nuevo preprint en el que se examina la tensión, hemos argumentado que necesitamos un escrutinio mucho más cuidadoso, y una mejor gobernanza, del comportamiento de los editores. Basándonos en un análisis de millones de artículos del archivo Scimago y en nuestro propio rastreo web, destacamos cinco tendencias:
El crecimiento del número de artículos procede de numerosos editores, tanto de los que venden revistas por suscripción como de los que cobran por el procesamiento de los artículos en acceso abierto (Fig. 2A).
Los plazos de entrega de algunos editores (desde el envío del trabajo hasta la publicación del artículo) se han vuelto cortos y homogéneos. Cabría esperar que fueran diversos porque las necesidades de los artículos son diferentes.
También se pueden crear más artículos si se reducen las tasas de rechazo. Pero no hay tendencias claras en las tasas de rechazo en todo el sector. Nuestra modelización demostró que el mejor predictor de los patrones en las tasas de rechazo era el editor.
Los números especiales son uno de los principales motores de crecimiento entre algunas editoriales de acceso abierto oro (pero no todas). Los números especiales también se asocian a índices de rechazo más bajos y a plazos de entrega más homogéneos.
Comparando diferentes medidas del factor de impacto, podemos demostrar que se ha producido una inflación del impacto en todo el sector por parte de todas las editoriales (Fig.2B). Se trata de un caso clásico de aplicación de la ley de Goodhart.
¿Qué podemos aprender de todo esto? En primer lugar, sugiere un duro cuestionamiento de los editores. ¿Cómo se mantiene la independencia editorial en los entornos editoriales actuales? Debemos preguntárnoslo, dado que algunas de las métricas tienden a cambiar en todas las mismas direcciones dentro de editoriales concretas.
En segundo lugar, necesitamos un nuevo lenguaje para hablar del comportamiento de los editores. En la actualidad parece que nos hemos quedado estancados en las categorías de "depredador" y "legítimo". Pero quizá necesitemos análisis más matizados. Es notable, por ejemplo, la gran atención que recibió nuestro artículo en Twitter, en el que se calificaba a MDPI de "depredadora". MDPI destaca en nuestro análisis. Destaca con campanas al vuelo. Tiene el mayor crecimiento de artículos, el mayor número de números especiales, los plazos de entrega más cortos, las tasas de rechazo más bajas, la inflación de impacto más alta y la autocitación media más alta dentro de la revista (Fig. 3). Pero, al mismo tiempo, es miembro del Comité de Ética de la Publicación, que promueve "la integridad en la investigación y su publicación". Otros editores, también miembros del COPE, hacen lo mismo que MDPI, pero menos copiosamente. Las editoriales consideradas "legítimas" por la comunidad editorial están haciendo cosas desconocidas hasta ahora en la edición académica. Categorías como "legítimo" o "depredador" no bastan para captar el fenómeno que observamos.
Fig.3: Tendencias en todas las editoriales
El otro problema de términos como "depredador" y "legítimo" es que esta dicotomía califica de "legítimo" un comportamiento que obtiene pingües beneficios del trabajo académico gratuito. Los márgenes de beneficio de Elsevier llevan mucho tiempo dando que hablar, y en su día provocaron un enfrentamiento con la Universidad de California. Observe de nuevo la Fig. 2A para ver qué empresa produce con diferencia el mayor número de publicaciones indexadas. Del mismo modo, el aprovechamiento que Nature hace de su marca como parte de un modelo de publicación basado en APC ha provocado la burla popular. ¿Deben considerarse "legítimos" estos modelos de negocio? El Plan S exige transparencia sobre los servicios que ofrecen los editores. Pero no llega a preguntarse por la rentabilidad de esos servicios.
Si queremos entender el cambiante mundo de la edición académica, necesitamos que los datos que hemos desenterrado estén más fácilmente disponibles. La edición académica no es suficientemente transparente.
Una mayor transparencia facilitaría una mejor vigilancia y gobernanza de las publicaciones académicas. Las editoriales tienen que vigilarse a sí mismas con más eficacia. Los grandes financiadores de la investigación podrían obligarles a hacerlo. Una medida obvia sería desincentivar la publicación de tantos números especiales, que es lo que ha provocado el reciente aumento del número de artículos. Los financiadores y empleadores deben disuadir a los investigadores de participar en la cultura de publicar o perecer.
Parte del aumento que hemos observado es positivo. Tiene que serlo. Refleja un mundo de la investigación más integrador en el que los investigadores productivos no se limitan al Norte Global. Sin embargo, tenemos que encontrar la manera de hacer que la investigación sea más abierta, sin abrir las compuertas a la mala ciencia. En última instancia, la "ciencia" merece ese nombre en parte por el cuidadoso escrutinio que los científicos exigen de su trabajo. Demasiada producción indexada recibe muy poco escrutinio, sobre todo si las revisiones son cada vez más rápidas y los índices de rechazo disminuyen.
La disfunción, y los evidentes beneficiarios, de la edición científica actual plantean un profundo desafío: ¿Podemos reimaginar la edición científica de modo que no se vea afectada por el afán de lucro? Esto sería más fácil si la organización y la financiación de la publicación académica generaran pocos beneficios. Se trata de una perspectiva que podría transformar el mundo académico.
Una mayor transparencia facilitaría una mejor vigilancia y gobernanza de las publicaciones académicas. Las editoriales tienen que vigilarse a sí mismas con más eficacia. Los grandes financiadores de la investigación podrían obligarles a hacerlo. Una medida obvia sería desincentivar la publicación de tantos números especiales, que es lo que ha provocado el reciente aumento del número de artículos. Los financiadores y los empleadores deben disuadir a los investigadores de participar en la cultura de publicar o perecer.
/////////////////////////////
The strain on academic publishing
Dan Brockington, Paolo Crosetto, Pablo Gómez, Mark A. Hanson
October 23rd, 2023
Drawing on a decade of data on academic publications, Dan Brockington, Paolo Crosetto, Pablo Gómez Barreiro and Mark Hanson argue that an academic publishing industry based on volume poses serious hazards to the assessment and usefulness of research publications.
Would so many academic articles be published if publishers’ profits were lower?
We all know about the pressures to publish. The incentives to generate more and more material, to ‘overwhelm’ with a long CV are powerful. Upon retirement, scientists like to be celebrated for the hundreds of articles that they have written. Historians will count their books. And if you are just starting out, and haven’t published? Well you know how the phrase goes: publish or …
Decades of this behaviour has put academia in serious trouble. There are now so many papers being prepared that it is hard to find the reviewers for them. And as for reading them – well ‘peak fact’ was probably reached years ago. If we compare just the indexed articles with the growth in PhDs then it is plain that there is a strain in scientific publishing (Fig.1).
But in looking at ourselves, at researchers, for the cause of this problem, are we looking in the right place? What if we turned the spotlight on the publishers? To what extent is their behaviour, or more accurately business models, driving the growth in papers?
In a new pre-print examining the strain we have argued that we need much more careful scrutiny, and better governance, of publishers’ behaviour. Based on an analysis of millions papers in the Scimago archive, and our own web-scraping, we highlight five trends:
Article growth comes from numerous publishers, both those who sell journals via subscription and by those who levy article processing charges on gold open access papers (Fig.2A).
Some publishers’ turnaround times (from paper submission to article publication) have become short and homogenous. We would expect them to be diverse because papers’ needs are different.
More articles can also be created by lowering rejection rates. But there are no clear trends in rejection rates across the sector. Our modelling showed that the best predictor of patterns in rejection rates was the publisher.
Special Issues are a major driver of growth among some (but not all) gold open access publishers. We found that Special Issues are also associated with lower rejection rates and more homogenous turnaround times.
By comparing different measures of impact factor we could show that there has been impact inflation across the sector by all publishers (Fig.2B). This is a classic case of Goodhart´s law in operation.
What do we learn from all of this? First, it suggests some hard questioning of publishers. How is editorial independence maintained in current publishing environments? We must ask this given that some of the metrics are tending to change in all the same directions within specific publishers.
Second, we need a new language to talk about publishers behaviour. Currently we seem stuck with the categories of ‘predatory’ and ‘legitimate’. But maybe we need more nuanced analyses. It is notable, for example, how much of the twitter attention of our article labelled MDPI as ‘predatory’. MDPI does stand out in our analysis. It stands out with bells on. It has the most growth of papers, most special issues, shortest turnaround times, decreasing rejection rates, highest impact inflation, and the highest within-journal mean self-citation (Fig 3). But at the same time, it is a member of the Committee of Publication Ethics that promotes ‘integrity in research and its publication’. Other publishers, also COPE members, are doing what MDPI does, just less copiously. Publishers that are thought to be ‘legitimate’ by the publishing community are doing things we have not known before in academic publishing. Categories like ‘legitimate’ or ‘predatory’ do not suffice to capture the phenomenon we observe.
Fig.3: Trends across all publishers
The other problem with terms like ‘predatory’ and ‘legitimate’ is that this dichotomy labels behaviour which makes handsome profits off free academic labour as ‘legitimate’. Elsevier’s profit margins have long raised eyebrows, and at one point led to a stand-off with the University of California. Look again at Fig 2A to see which company is churning out by far the most indexed publications. Similarly, Nature’s leverage of its brand as part of an APC based publishing model has provoked popular derision. Should these business models be called ‘legitimate’? Plan S goes some way towards demanding transparency on what services publishers offer. But it stops short of asking how profitable those services are.
If we are to understand the changing world of academic publishing then we need the data we have unearthed to be more easily available. Academic publishing is simply not transparent enough.
Greater transparency would make it easier to bring in the better policing and governance academic publishing needs. Publishers need to police themselves more effectively. They could be made to do so by major research funders. One obvious step is to discourage so many Special Issues which are driving much of the recent increase in papers. Funders and employers need to discourage researchers from taking part in the publish or perish culture.
Some of the increase we have observed is welcome. It has to be. It reflects a more inclusive research world where productive researchers are not confined to the Global North. However, we need to find a way of making research more open, without opening the floodgates to poor science. Ultimately ‘science’ deserves that name in part because of the careful scrutiny scientists demand of their work. Too much indexed output receives too little scrutiny, especially if reviews are churned out ever faster while rejection rates decline.
The dysfunction, and obvious beneficiaries, of scientific publishing today poses a profound challenge: Can we reimagine scientific publishing so that it is unaffected by profit motives? This would be most easily done if the organization, and funding, of academic publishing created little profit. That is a prospect that could indeed transform academia.
This post draws on the authors’ preprint, The strain on scientific publishing, published on arXiv.
The content generated on this blog is for information purposes only. This Article gives the views and opinions of the authors and does not reflect the views and opinions of the Impact of Social Science blog (the blog), nor of the London School of Economics and Political Science. Please review our comments policy if you have any concerns on posting a comment below.
Image Credit: James Allen via Unsplash.
