Publicado en Science
https://www.science.org/content/article/open-science-delivering-benefits-major-study-finds-proof-sparse?utm_source=onesignal&utm_medium=webpush&utm_content=news&utm_campaign=webpush
¿La «ciencia abierta» está aportando beneficios? Un importante estudio concluye que las pruebas son escasas
Según los investigadores, es difícil medir el impacto social y económico de la libre disponibilidad de artículos y datos.
30 de diciembre de 2025
Por Jeffrey Brainard
¿El movimiento de ciencia abierta —el impulso para que los resultados de la investigación, como artículos, datos y software, sean de libre acceso y reutilización— produce los beneficios que afirman sus defensores, como acelerar los descubrimientos y promover la alfabetización científica? La respuesta es un sí con matices, según uno de los estudios más completos y multifacéticos sobre esta cuestión compleja y controvertida.
Por ejemplo, los artículos de acceso abierto son citados con mayor frecuencia en otros artículos y en solicitudes de patentes. Y los miembros del público que participan en la investigación, los llamados científicos ciudadanos, aprenden más sobre el tema en el que han colaborado gracias a la ciencia abierta.
Estas son algunas de las muchas conclusiones publicadas el mes pasado por el proyecto Open Science Impact Pathways (PathOS). Sin embargo, el equipo multidisciplinar con sede en Europa que llevó a cabo los análisis también destacó que encontró pocas pruebas sólidas de que la ciencia abierta produjera directamente efectos duraderos y generalizados en la investigación o muchos beneficios económicos y sociales.
Los expertos en ciencia abierta elogiaron el trabajo del grupo, que se detalló en una serie de informes finales. «No se encuentran muchos estudios como este que ofrezcan un análisis de 360° sobre lo que significa la ciencia abierta», afirma Lidia Borrell-Damián, secretaria general de Science Europe, una asociación de financiadores de investigación europeos. «Es un análisis muy honesto. [...] Hay deficiencias [en las pruebas]».
El equipo de investigación de PathOS se sorprendió al no encontrar más pruebas de que el contenido abierto ofrezca beneficios cuantificables, afirma Ioanna Grypari, coordinadora del proyecto y economista del Centro de Investigación Athena de Atenas (Grecia), que apoya el espíritu emprendedor. Sin embargo, el equipo llegó a la conclusión de que es difícil determinar si el hecho de que un artículo académico o unos datos estén disponibles gratuitamente tiene una influencia cuantificable en su reutilización e impacto posteriores, al margen de otros factores como la calidad del contenido. Faltan ensayos controlados y, por lo general, los usuarios acceden a los repositorios públicos sin identificarse ni indicar cómo utilizan el contenido. Aun así, Grypari afirma: «Al final del proyecto, pudimos delimitar lo que no sabemos y cómo podemos aprovecharlo para aprender sobre estas cuestiones».
Durante más de dos décadas, los defensores de la ciencia abierta han promocionado sus beneficios y los autores han pagado miles de millones de dólares a las editoriales para que los artículos sean de acceso libre: la mitad de los artículos científicos recién publicados ahora se pueden leer de forma inmediata y gratuita, frente a menos de una cuarta parte en el año 2000. También se han destinado fondos adicionales a la creación de repositorios públicos de datos de todo tipo, desde secuencias de proteínas hasta sedimentos del fondo marino. Sin embargo, cada vez más, los responsables políticos, especialmente en Europa, se preguntan si esta iniciativa está dando resultados.
Los estudiosos de la ciencia abierta afirman que el proyecto PathOS ha abierto nuevos caminos en esta cuestión al combinar de forma creativa análisis cuantitativos amplios y revisiones bibliográficas con métodos cualitativos a pequeña escala, como grupos focales y seis estudios de casos diversos. Por ejemplo, un grupo analizó quiénes utilizaban HAL, un repositorio público de artículos académicos de Francia, examinando los registros del servidor que mostraban los dominios de Internet de las personas que accedían a él. Descubrió que personas de diversos sectores, como la informática, la administración pública y la edición, registraban en conjunto casi tantas visitas como las personas de instituciones educativas.
«Estoy muy entusiasmado con [PathOS] como enfoque general de análisis que vincula lo pequeño con lo grande, y lo local con lo general», afirma Cameron Neylon, investigador independiente afiliado a la Universidad Curtin que no participó en el proyecto.
En 2021, la UNESCO hizo un llamamiento a la comunidad internacional para que se realizara un esfuerzo global con el fin de medir el impacto de la ciencia abierta. Los estudios que abordan esta cuestión suelen ser demasiado breves y se centran excesivamente en contabilizar las citas y el número de artículos publicados en acceso abierto, según afirmó Tony Ross-Hellauer, científico de la información del Know-Center, una organización de investigación con sede en Graz (Austria), en una presentación realizada en una conferencia de la UNESCO celebrada en julio. «Tenemos que dejar de medir lo que es fácil de medir y empezar a buscar lo que es importante», añadió Ross-Hellauer, uno de los investigadores de PathOS, en la misma reunión.
Para aportar las pruebas que faltaban, algunos de los estudios de caso de PathOS, iniciados en 2022, analizaron las citas de nuevas formas para medir el impacto económico, social y en la investigación posterior de los recursos gratuitos. Por ejemplo, uno de ellos examinó más de 115,000 artículos de investigación sobre la COVID-19 publicados en 2020 y 2021 que compartían un nuevo conjunto de datos abiertos o código de software. El subconjunto de artículos para los que existían pruebas de que el conjunto de datos o el código habían sido utilizados posteriormente por otros —después de que el equipo de PathOS controlara una serie de factores— se citaban, en promedio, con más frecuencia en las solicitudes de patentes, y sus autores habían establecido más colaboraciones industriales.
Sin embargo, los artículos que reutilizaban conjuntos de datos o software no obtuvieron más citas en las guías clínicas ni en los informes de ensayos clínicos. El equipo de PathOS especula que esto puede reflejar la cautela de los médicos a la hora de utilizar contenidos de investigación que podrían afectar a la seguridad de los pacientes. Aun así, un subconjunto de los artículos con conjuntos de datos o códigos reutilizados que eran de alta calidad y se publicaron al principio de la pandemia tendían a obtener más citas, incluso en los informes de ensayos clínicos. Eso sugiere que los datos o códigos abiertos «actúan más como un amplificador de la investigación sólida que como un motor independiente de impacto», concluye el estudio de caso.
El proyecto PathOS concluyó que exigir una ciencia abierta puede tener repercusiones negativas, como lo demuestran las crecientes quejas sobre las tarifas que los autores o sus financiadores deben pagar para que los artículos de las revistas puedan leerse gratuitamente. Sin embargo, el equipo también encontró algunas pruebas de que poner los datos a disposición del público de forma gratuita puede reportar beneficios económicos. En un estudio de caso se examinó el uso del Universal Protein Resource (UniProt), una base de datos anotada de secuencias proteicas. Sus usuarios ahorraron el tiempo que habrían dedicado a buscar la información en otras fuentes, y este ahorro superó el tiempo que dedicaron a acceder, actualizar y anotar los datos de UniProt. El equipo de PathOS estimó que el beneficio neto oscilaba entre 3513 y 5475 euros por usuario al año, y que el valor total del tiempo ahorrado por los usuarios era siete veces superior al tiempo que dedicaron.
Este y otros estudios de caso de PathOS ponen de relieve la necesidad de mejorar la curación de los conjuntos de datos, que varían mucho en cuanto a su facilidad de uso, afirma Grypari. Muchos carecen del código de software y otra información necesaria para que los usuarios puedan utilizar los datos de forma eficaz.
Ameet Doshi, bibliotecario de la Universidad de Princeton que estudia la ciencia abierta, desea que se realicen más iniciativas como la de PathOS para comprender quién utiliza los datos públicos o los repositorios de artículos y cómo lo hace. Según él, es importante obtener comentarios directos de los científicos y otras personas, «porque el uso de la información es muy multifacético y depende en gran medida del contexto». En un estudio de 2022, por ejemplo, él y sus colegas analizaron más de un millón de comentarios dejados por personas que descargaron informes de las Academias Nacionales de Ciencias, Ingeniería y Medicina de EE. UU. y descubrieron que más de la mitad de los informes se utilizaban con fines no relacionados con la investigación, como ayudar a los veteranos a solicitar prestaciones por discapacidad y ayudar a los capellanes de los hospitales a mejorar su trabajo.
Para ayudar a los financiadores e instituciones de investigación a medir el impacto de la ciencia abierta de forma más coherente y decidir si vale la pena el coste, PathOS ha elaborado un manual que identifica 31 indicadores. Los responsables del proyecto afirman que aún quedan varios indicadores por desarrollar plenamente, como los que relacionan las prácticas de ciencia abierta con el crecimiento económico y los beneficios para toda la sociedad, incluidos los nuevos tratamientos médicos.
Doshi señala que evaluar las ventajas y desventajas de la ciencia abierta es cada vez más importante, ya que parte del público parece querer más acceso libre. «Hacer que [la investigación fiable] sea más accesible podría ayudar a contrarrestar los aspectos más contaminados del entorno informativo, de las burbujas de filtro y de las redes sociales», afirma. PathOS es «un excelente comienzo para lo que espero que sea una mayor atención a la evaluación del impacto y el contexto de uso».
//////////////////////////
Is ‘open science’ delivering benefits? Major study finds proof is sparse
It’s hard to measure social and economic impacts of making papers and data free, researchers say
Does the open science movement—the push to make research outputs such as articles, data, and software free to read and reuse—produce the benefits its supporters claim, such as accelerating discovery and promoting science literacy? The answer is a qualified yes, according to one of the most comprehensive, multifaceted studies of the complex and divisive issue.
For example, open-access articles are cited more by other papers and in patent applications. And members of the public participating in research, so-called citizen scientists, learn more about the topic they helped on thanks to open science.
Those are some of the many conclusions released last month from the Open Science Impact Pathways (PathOS) project. But the multidisciplinary team based in Europe that conducted the analyses also stressed it found little strong evidence that open science directly produced long-lasting and widespread effects on research or many economic and social benefits.
Scholars of open science praised the group’s work, which was detailed in a series of final reports. “You don’t find many studies like this that have a 360° analysis of what open science means,” says Lidia Borrell-Damián, secretary general of Science Europe, an association of European research funders. “It’s a very honest analysis. … There are shortcomings [in the evidence].”
The PathOS research team was surprised not to find more proof that open content delivers measurable benefits, says Ioanna Grypari, the project’s coordinator and an economist at the Athena Research Center in Athens, Greece, which supports entrepreneurship. But the team concluded it is challenging to tease out whether making a scholarly article or data freely available produces a measurable influence on subsequent reuse and impact, separate from other factors such as the content’s quality. Controlled trials are lacking, and typically users tap public repositories without identifying themselves or how they are using the content. Still, Grypari says, “By the end of the project we were able to narrow down what it is we don’t know and how can we build [on that] so that we learn about these things.”
For more than 2 decades, supporters of open science have touted its benefits and authors have paid billions of dollars to publishers to make articles open access—half of newly published scientific papers are now immediately free to read, up from less than one-quarter in 2000. Additional funding has also gone to set up public data repositories of everything from protein sequences to seafloor sediments. But increasingly, policymakers, especially in Europe, have been asking whether this push is producing results.
Scholars of open science say the PathOS project blazed new ground on this question by creatively marrying broad, quantitative analysis and literature reviews with fine-scale, qualitative methods, including focus groups and six diverse case studies. For example, one group looked at who used France’s HAL, a public repository of scholarly papers, by examining server logs showing the internet domains of people who accessed it. It found that people in a variety of industries—such as computing, public administration, and publishing—together logged almost as many visits as people at educational institutions.
“I’m quite excited by [PathOS] as a general approach to analysis that links the small scale with the large scale, and the local with the general,” says Cameron Neylon, an independent researcher affiliated with Curtin University who wasn’t involved in the project.
In 2021, UNESCO called for a global effort to measure the impacts of open science. Studies addressing this are typically too short and concentrate too much on counting citations and how many articles are published open access, said Tony Ross-Hellauer, an information scientist at the Know-Center, a research organization in Graz, Austria, in a presentation at a UNESCO conference in July. “We need to stop measuring what’s easy to measure and start looking for what’s important,” Ross-Hellauer, one of PathOS’s researchers, added at the same meeting.
To supply the missing evidence, some of PathOS’s case studies, begun in 2022, looked at citations in new ways to measure the downstream research, economic, and social impacts of free resources. For example, one examined more than 115,000 research papers about COVID-19 published in 2020 and ’21 that shared a new, open data set or software code. The subset of papers for which there was some evidence that the data set or code was subsequently used by others were—after the PathOS team controlled for a variety of factors—cited on average more often in patent applications, and their authors had formed more industry collaborations.
But the papers with reused data sets or software did not attract more citations by clinical guidelines or clinical trial reports. The PathOS team speculates that may reflect clinicians’ caution about utilizing research content that could affect patient safety. Still, a subset of the papers with reused data sets or code that were of high quality and were published early in the pandemic tended to draw more citations even in clinical trial reports. That suggests the open data or code “acts more as an amplifier of strong research than as a stand-alone driver of impact,” the case study concludes.
The PathOS project concluded that requiring open science can have negative impacts—witness the growing complaints about the fees authors or their funders have to pay to make journal articles free to read. But the team also found some evidence that making data freely available can have a financial payoff. One case study examined use of the Universal Protein Resource (UniProt), an annotated database of protein sequences. Its users saved time they would have otherwise spent digging up the information from other sources, and this exceeded the time they put in accessing, updating, and annotating UniProt data. The PathOS team estimated the net benefit at between €3513 and €5475 per user annually—and that the overall value of users’ time saved was seven times that of the time they spent.
This and other PathOS case studies highlight the need for better curation of data sets, which vary widely in ease of use, Grypari says. Many lack the software code and other information needed for users to utilize the data effectively.
Ameet Doshi, a librarian at Princeton University who studies open science, wants to see more efforts like PathOS’s to understand who is using public data or article repositories and how. Getting direct feedback from scientists and others is important, he says, “because the use of information is so multifaceted and so highly context dependent.” In a 2022 study, for example, he and colleagues analyzed more than 1 million comments left by people who downloaded reports of the U.S. National Academies of Sciences, Engineering, and Medicine and found more than half of the reports were used for nonresearch purposes, such as helping veterans apply for disability benefits and assisting hospital chaplains to improve their work.
To help research funders and institutions measure the impact of open science more consistently and decide whether it’s worth the cost, PathOS developed a handbook that identifies 31 indicators. Project leaders say several indicators remain to be fully developed, such as ones linking open-science practices to economic growth and societywide benefits including new medical treatments.
Doshi notes that assessing the pros and cons of open science is becoming increasingly important as segments of the public seem to want more of this free access. “Making [reliable research] more accessible broadly could help to counteract the more polluted aspects of the information environment, of filter bubbles and social media,” he says. PathOS is “an excellent start to what I hope will be more attention paid to assessing impact and context of use.”
doi: 10.1126/science.za60q6w
About the author
Jeffrey Brainardmail
Share on X
Author
Jeffrey Brainard is a reporter at Science in Washington, D.C., covering scientific publishing, open science, peer review, the science of science, and other topics. He can be reached on Signal at jbrainard.19 and on Bluesky at @jeffreybrainard.bsky.social.
