Publicado en The Guardian
https://www.theguardian.com/books/2022/apr/11/the-big-idea-should-we-get-rid-of-the-scientific-paper?s=08
La gran idea: ¿debemos eliminar el artículo científico?
Como formato es lento, fomenta la exageración y es difícil de corregir. Una revisión radical de la publicación podría mejorar la ciencia
¿Cuándo fue la última vez que vio un artículo científico? Uno físico, quiero decir. Un viejo académico de mi anterior departamento universitario solía guardar todas sus revistas científicas en cajas de cereales recicladas. Al entrar en su despacho, te recibía una pared de gallos de Kellogg's, ocupando estante tras estante, en paquetes que contenían varios números de Journal of Experimental Psychology, Psychophysiology, Journal of Neuropsychology y similares. Era un espectáculo extraño, pero tenía su razón de ser: si no mantenías tus revistas organizadas, ¿cómo podías esperar encontrar el artículo concreto que buscabas?
La época de las cajas de cereales ya pasó: ahora tenemos Internet. Después de haber sido impresa en papel desde que se inauguró la primera revista científica en 1665, la inmensa mayoría de las investigaciones se presentan, revisan y leen en línea. Durante la pandemia, a menudo se devoraba en las redes sociales, una parte esencial del desarrollo de la historia de Covid-19. Los ejemplares impresos de las revistas se ven cada vez más como curiosidades, o no se ven en absoluto.
Pero aunque Internet ha transformado la forma en que leemos, el sistema general de publicación de la ciencia sigue siendo prácticamente el mismo. Seguimos teniendo artículos científicos; seguimos enviándolos a los revisores; seguimos teniendo editores que dan el visto bueno o no a la publicación de un artículo en su revista.
Este sistema conlleva grandes problemas. El principal es el sesgo de publicación: es más probable que los revisores y editores den una buena nota a un artículo científico y lo publiquen en su revista si presenta resultados positivos o interesantes. Por ello, los científicos hacen todo lo posible por dar bombo a sus estudios, apoyarse en sus análisis para obtener "mejores" resultados y, a veces, incluso cometer fraudes para impresionar a esos importantes guardianes. Esto distorsiona drásticamente nuestra visión de lo que realmente ocurrió.
Hay algunas soluciones posibles que cambian el funcionamiento de las revistas. Tal vez la decisión de publicar podría basarse únicamente en la metodología de un estudio, en lugar de en sus resultados (esto ya está ocurriendo en cierta medida en algunas revistas). Tal vez los científicos podrían publicar todas sus investigaciones por defecto, y las revistas se encargarían de comisariar, en lugar de decidir, qué resultados salen al mundo. Pero tal vez podríamos ir un paso más allá y deshacernos por completo de los artículos científicos.
Los científicos están obsesionados con los artículos, en concreto, con tener más artículos publicados bajo su nombre, ampliando la crucial sección de "publicaciones" de su CV. Así que puede parecer una barbaridad sugerir que podríamos prescindir de ellos. Pero esa obsesión es el problema. Paradójicamente, el estatus sagrado de un artículo publicado y revisado por pares hace más difícil que el contenido de esos artículos sea correcto.
Pensemos en la desordenada realidad de la investigación científica. Los estudios casi siempre arrojan cifras extrañas e inesperadas que complican cualquier interpretación sencilla. Pero un artículo tradicional -con el recuento de palabras y todo- te obliga a simplificar las cosas. Si lo que se persigue es el gran objetivo de un artículo publicado, la tentación de limar algunos de los bordes irregulares de los resultados está siempre presente, para ayudar a "contar una historia mejor". Muchos científicos admiten, en las encuestas, que hacen precisamente eso: convertir sus resultados en artículos inequívocos y de aspecto atractivo, pero distorsionando la ciencia en el camino.
Y considere las correcciones. Sabemos que los artículos científicos suelen contener errores. Un algoritmo que analizó miles de artículos de psicología descubrió que, en el peor de los casos, más del 50% tenía un error estadístico específico, y más del 15% tenía un error lo suficientemente grave como para anular los resultados. En el caso de los artículos, la corrección de este tipo de errores es una tarea ardua: hay que escribir a la revista, llamar la atención del ocupado editor y conseguir que publique un nuevo y breve artículo que detalle formalmente la corrección. Muchos científicos que solicitan correcciones se encuentran con que las revistas les dan largas o las ignoran. Imagínese el número de errores que pueblan la literatura científica y que no han sido corregidos porque hacerlo es demasiado complicado.
Por último, consideremos los datos. Antes, compartir los datos brutos que formaban la base de un artículo con los lectores de ese artículo era más o menos imposible. Ahora puede hacerse con unos pocos clics, subiendo los datos a un repositorio abierto. Y sin embargo, actuamos como si viviéramos en el mundo de antaño: los artículos casi nunca llevan los datos adjuntos, lo que impide a los revisores y lectores ver la imagen completa.
La solución a todos estos problemas es la misma que la respuesta a "¿Cómo organizo mis revistas si no uso cajas de cereales?" Usar Internet. Podemos convertir los diarios en minisitios web (a veces llamados "cuadernos") que informan abiertamente de los resultados de un determinado estudio. De este modo, no sólo se puede ver todo el proceso, desde los datos hasta el análisis y la redacción (el conjunto de datos se incluiría en el sitio web junto con todo el código estadístico utilizado para analizarlo, y cualquiera podría reproducir el análisis completo y comprobar que obtiene las mismas cifras), sino que cualquier corrección podría realizarse de forma rápida y eficaz, con la fecha y la hora de todas las actualizaciones registradas públicamente.
Esto supondría una gran mejora con respecto a la situación actual, en la que el análisis y la redacción de los artículos se realizan en privado y los científicos deciden a su antojo si hacen públicos sus resultados. Por supuesto, arrojar luz sobre todo el proceso podría revelar ambigüedades o contradicciones difíciles de explicar en los resultados, pero así es la ciencia en realidad. También hay otras ventajas potenciales de esta forma de publicar la ciencia con alta tecnología: por ejemplo, si se realizara un estudio a largo plazo sobre el clima o el desarrollo infantil, sería muy fácil añadir nuevos datos a medida que fueran apareciendo.
Hay barreras para grandes cambios como éste. Algunos tienen que ver con las habilidades: es fácil escribir un documento de Word con tus resultados y enviarlo a una revista, como hacemos ahora; es más difícil hacer un sitio web de cuaderno que entrelace los datos, el código y la interpretación. Y lo que es más importante, ¿cómo funcionaría la revisión por pares en este escenario? Se ha sugerido que los científicos podrían contratar a "equipos rojos" -personas cuyo trabajo es detectar agujeros en sus hallazgos- para que indaguen en los sitios de sus cuadernos y los prueben hasta destruirlos. Pero quién pagaría, y cómo funcionaría exactamente el sistema, es objeto de debate.
Hemos avanzado de forma asombrosa en muchas áreas de la ciencia y, sin embargo, seguimos atascados en el viejo y defectuoso modelo de publicación de la investigación. De hecho, incluso el nombre de "paper" nos remite a una época pasada. Algunos campos de la ciencia ya se están moviendo en la dirección que he descrito aquí, utilizando cuadernos en línea en lugar de revistas, documentos vivos en lugar de fósiles vivos. Es hora de que el resto de la ciencia siga su ejemplo.
************************
The big idea: should we get rid of the scientific paper?As a format it’s slow, encourages hype, and is difficult to correct. A radical overhaul of publishing could make science better
When was the last time you saw a scientific paper? A physical one, I mean. An older academic in my previous university department used to keep all his scientific journals in recycled cornflakes boxes. On entering his office, you’d be greeted by a wall of Kellogg’s roosters, occupying shelf upon shelf, on packets containing various issues of Journal of Experimental Psychology, Psychophysiology, Journal of Neuropsychology, and the like. It was an odd sight, but there was method to it: if you didn’t keep your journals organised, how could you be expected to find the particular paper you were looking for?
The time for cornflakes boxes has passed: now we have the internet. Having been printed on paper since the very first scientific journal was inaugurated in 1665, the overwhelming majority of research is now submitted, reviewed and read online. During the pandemic, it was often devoured on social media, an essential part of the unfolding story of Covid-19. Hard copies of journals are increasingly viewed as curiosities – or not viewed at all.
But although the internet has transformed the way we read it, the overall system for how we publish science remains largely unchanged. We still have scientific papers; we still send them off to peer reviewers; we still have editors who give the ultimate thumbs up or down as to whether a paper is published in their journal.
This system comes with big problems. Chief among them is the issue of publication bias: reviewers and editors are more likely to give a scientific paper a good write-up and publish it in their journal if it reports positive or exciting results. So scientists go to great lengths to hype up their studies, lean on their analyses so they produce “better” results, and sometimes even commit fraud in order to impress those all-important gatekeepers. This drastically distorts our view of what really went on.
There are some possible fixes that change the way journals work. Maybe the decision to publish could be made based only on the methodology of a study, rather than on its results (this is already happening to a modest extent in a few journals). Maybe scientists could just publish all their research by default, and journals would curate, rather than decide, which results get out into the world. But maybe we could go a step further, and get rid of scientific papers altogether.
Scientists are obsessed with papers – specifically, with having more papers published under their name, extending the crucial “publications” section of their CV. So it might sound outrageous to suggest we could do without them. But that obsession is the problem. Paradoxically, the sacred status of a published, peer-reviewed paper makes it harder to get the contents of those papers right.
Consider the messy reality of scientific research. Studies almost always throw up weird, unexpected numbers that complicate any simple interpretation. But a traditional paper – word count and all – pretty well forces you to dumb things down. If what you’re working towards is a big, milestone goal of a published paper, the temptation is ever-present to file away a few of the jagged edges of your results, to help “tell a better story”. Many scientists admit, in surveys, to doing just that – making their results into unambiguous, attractive-looking papers, but distorting the science along the way.
And consider corrections. We know that scientific papers regularly contain errors. One algorithm that ran through thousands of psychology papers found that, at worst, more than 50% had one specific statistical error, and more than 15% had an error serious enough to overturn the results. With papers, correcting this kind of mistake is a slog: you have to write in to the journal, get the attention of the busy editor, and get them to issue a new, short paper that formally details the correction. Many scientists who request corrections find themselves stonewalled or otherwise ignored by journals. Imagine the number of errors that litter the scientific literature that haven’t been corrected because to do so is just too much hassle.
Finally, consider data. Back in the day, sharing the raw data that formed the basis of a paper with that paper’s readers was more or less impossible. Now it can be done in a few clicks, by uploading the data to an open repository. And yet, we act as if we live in the world of yesteryear: papers still hardly ever have the data attached, preventing reviewers and readers from seeing the full picture.
The solution to all these problems is the same as the answer to “How do I organise my journals if I don’t use cornflakes boxes?” Use the internet. We can change papers into mini-websites (sometimes called “notebooks”) that openly report the results of a given study. Not only does this give everyone a view of the full process from data to analysis to write-up – the dataset would be appended to the website along with all the statistical code used to analyse it, and anyone could reproduce the full analysis and check they get the same numbers – but any corrections could be made swiftly and efficiently, with the date and time of all updates publicly logged.
This would be a major improvement on the status quo, where the analysis and writing of papers goes on entirely in private, with scientists then choosing on a whim whether to make their results public. Sure, throwing sunlight on the whole process might reveal ambiguities or hard-to-explain contradictions in the results – but that’s how science really is. There are also other potential benefits of this hi-tech way of publishing science: for example, if you were running a long-term study on the climate or on child development, it would be a breeze to add in new data as it appears.
There are barriers to big changes like this. Some are to do with skills: it’s easy to write a Word document with your results and send it in to a journal, as we do now; it’s harder to make a notebook website that weaves together the data, code and interpretation. More importantly, how would peer review operate in this scenario? It’s been suggested that scientists could hire “red teams” – people whose job is to pick holes in your findings – to dig into their notebook sites and test them to destruction. But who would pay, and exactly how the system would work, is up for debate.
We’ve made astonishing progress in so many areas of science, and yet we’re still stuck with the old, flawed model of publishing research. Indeed, even the name “paper” harkens back to a bygone age. Some fields of science are already moving in the direction I’ve described here, using online notebooks instead of journals – living documents instead of living fossils. It’s time for the rest of science to follow suit.
