Los investigadores necesitan bases de datos bibliográficas "abiertas", según una nueva declaración
Las principales plataformas, como Web of Science, ampliamente utilizadas para generar métricas y evaluar a los investigadores, están protegidas por derechos de propiedad intelectual.
16 ABR 2024
POR CATHERINE OFFORD
Cuando las universidades deciden a quién contratan y promocionan, o las organizaciones que conceden subvenciones seleccionan los proyectos que financiarán, es muy probable que consulten algo más que los materiales de solicitud. Muchas organizaciones se basan en bases de datos que recopilan información sobre publicaciones, incluidos autores, afiliaciones, citas y fuentes de financiación, para crear métricas destinadas a cuantificar la productividad de un investigador y la calidad de su trabajo.
Algunas de las bases de datos más conocidas, como Web of Science y Scopus, son privadas y ofrecen datos y servicios de acceso de pago en apoyo de estas y otras métricas, como las clasificaciones universitarias y los factores de impacto de las revistas. Pero en una declaración publicada hoy (declaration posted today), más de 30 organizaciones de investigación y financiación piden a la comunidad que se comprometa con plataformas que, en cambio, sean gratuitas para todos, más transparentes sobre sus métodos y sin restricciones sobre cómo pueden utilizarse los datos.
La Universidad de la Sorbona, que suspendió su suscripción a Web of Science el año pasado y se pasó a una plataforma más nueva y abierta llamada OpenAlex (which discontinued its subscription to the Web of Science last year and switched to a newer, open platform called OpenAlex), afirmó en un comunicado que "con la firma de la Declaración, queremos demostrar que no sólo este avance hacia la información de investigación abierta debe ser un objetivo, sino que puede hacerse". La medida podría ayudar a remediar el hecho de que las bases de datos existentes se centren en las revistas en lengua inglesa, afirman sus defensores. También podría ayudar a mejorar "la circulación del conocimiento científico y local producido en diferentes idiomas, formatos y regiones geográficas", afirma otro de los firmantes, el Consejo Latinoamericano de Ciencias Sociales a través del Foro Latinoamericano de Evaluación Científica.
La declaración es un "avance excelente", afirma Elizabeth Gadd, experta en comunicaciones académicas y responsable de cultura y evaluación de la investigación y la innovación de la Universidad de Loughborough, que no participó en su elaboración. "Muchas organizaciones se han comprometido públicamente con las prácticas de investigación abierta, pero siguen utilizando fuentes de datos bibliográficos cerradas y comerciales para el análisis de la investigación". El anuncio debería "espolear a un mayor número de organizaciones a 'poner su dinero donde está su boca'".
Para ello, los partidarios de la declaración esperan crear una Coalición para la Información Abierta sobre Investigación con el fin de planificar los próximos pasos, afirma la coordinadora Bianca Kramer, experta en comunicaciones académicas de la consultora Sesame Open Science. "Queremos facilitar que las organizaciones trabajen en esa transición, entre otras cosas aprovechando la experiencia de los demás y explorando la acción colectiva".
Crear y mantener una base de datos de información sobre investigación no es tarea fácil. Aunque los algoritmos informáticos pueden recopilar muchos datos de forma automática, los propietarios de las bases de datos tienen además que corregir errores y completar la información que falta, así como proporcionar capacidades de búsqueda y herramientas analíticas que permitan a los usuarios navegar por estos vastos recursos.
Entre las alternativas existentes a las bases de datos patentadas se encuentran PubMed, Crossref, OpenCitations y OpenAlex. La última de ellas, creada en 2022 por la organización sin ánimo de lucro OurResearch con financiación de la organización benéfica Arcadia Fund del Reino Unido, ha recibido recientemente el apoyo de personalidades destacadas y se ha asociado con organizaciones como el Ministerio de Enseñanza Superior e Investigación de Francia.
Pero a algunos expertos les preocupa su calidad en comparación con las bases de datos patentadas en esta fase. En un análisis reciente (recent analysis), Frédérique Bordignon, investigadora en bibliometría de la Escuela de Puentes ParisTech, descubrió que una gran parte de los miles de artículos devueltos por OpenAlex para su institución estaban asignados incorrectamente. Los errores incluían confundir ponencias de congresos con artículos académicos y confundir nombres de instituciones. Bases de datos comerciales como Web of Science tenían algunos de estos problemas al principio, pero han eliminado muchos gracias a las correcciones aportadas por las instituciones, un trabajo que habría que repetir con las nuevas bases de datos.
Jason Portenoy, ingeniero de datos sénior de OurResearch, reconoce la necesidad de contar con la opinión de la comunidad y afirma que es comprensible que las instituciones se resistan a volver a realizar el trabajo. «Pero la diferencia es que con OpenAlex se hace abiertamente», afirma. Jason Priem, Director General de OurResearch, añade que las lagunas en la calidad de los datos se están cerrando rápidamente. «OpenAlex evoluciona muy deprisa, y a menudo los problemas descubiertos por nuestra comunidad se solucionan en pocos meses». Cuando uno de los coordinadores de la declaración -Ludo Waltman, director científico del Centro de Estudios de Ciencia y Tecnología de la Universidad de Leiden- y sus colegas utilizaron recientemente OpenAlex para clasificar más de 1.400 universidades de todo el mundo (used OpenAlex to rank more than 1400 universities worldwide), llegaron a la conclusión de que, aunque necesita mejoras, el método arrojaba una «calidad de datos sorprendentemente buena» (“surprisingly good data quality.”).
Clarivate, que gestiona la Web of Science y ayudó a financiar el predecesor de OurResearch, ImpactStory, «apoya ampliamente los objetivos de esta declaración», afirma Emmanuel Thiveaud, Vicepresidente Senior de Investigación y Análisis para la Academia y el Gobierno. «Sin embargo, creemos que hay espacio y necesidad para múltiples perspectivas. ... Ningún enfoque único ni ninguna entidad podría abordar los retos más acuciantes a los que se enfrenta la investigación». Elsevier, que gestiona Scopus, afirma que apoya desde hace tiempo las iniciativas abiertas y da la bienvenida a «cualquier proyecto que apoye la investigación, ya que compartimos el mismo objetivo.»
Las bases de datos comerciales pueden seguir aportando valor en este nuevo panorama, afirma Waltman. Pero, «en lugar de monetizar sus datos, [podrían] cambiar a una nueva forma de trabajar en la que sus datos sean abiertos y los usuarios, en cambio, paguen por servicios sobre los datos».
Daniel Hook, Director General de Digital Science, que explota la base de datos patentada Dimensions, ve con buenos ojos esta idea. (Dimensions ya ofrece una versión gratuita para uso no comercial, aunque los usuarios tienen que suscribirse para acceder a todas las funciones). Aun así, esta transición llevará tiempo, afirma Hook. Las bases de datos propietarias tienen que recuperar los costes de creación, mejora y mantenimiento de conjuntos de datos tan grandes, un reto al que también podrían enfrentarse a largo plazo equivalentes abiertas como OpenAlex.
********************************
Researchers need ‘open’ bibliographic databases, new declaration saysMajor platforms such as the Web of Science, widely used to generate metrics and evaluate researchers, are proprietary
16 APR 2024
When universities are deciding whom to hire and promote, or grant organizations are selecting projects to fund, there’s a good chance they’re referencing more than just the application materials. Many organizations rely on databases that compile publication information including authors, affiliations, citations, and funding sources to create metrics meant to quantify a researcher’s productivity and the quality of their work.
Some of the best known databases, such as the Web of Science and Scopus, are proprietary and offer pay-to-access data and services supporting these and other metrics, including university rankings and journal impact factors. But in a declaration posted today, more than 30 research and funding organizations call for the community to commit to platforms that instead are free for all, more transparent about their methods, and without restrictions about how the data can be used.
“At a time when decision making in science is increasingly guided by indicators and analytics, addressing the problems of closed research information must be a top priority,” states the Barcelona Declaration on Open Research Information. Signatories so far include funders such as the Bill & Melinda Gates Foundation and the French National Research Agency, as well as more than a dozen academic institutions.
Sorbonne University—which discontinued its subscription to the Web of Science last year and switched to a newer, open platform called OpenAlex—said in a statement that “by signing the Declaration, we want to show that not only this move towards open research information should be an objective, but that it can be done.” The move may help remediate existing databases’ focus on English-language journals, advocates say. It could also help improve “circulation of scientific and local knowledge produced in different languages, formats, and in different geographic regions,” says another signatory, the Latin American Council of Social Sciences through the Latin American Forum for Scientific Evaluation.
The declaration is an “excellent development,” says Elizabeth Gadd, a scholarly communications expert and head of research and innovation culture and assessment at Loughborough University who was not involved in preparing it. “Many organizations have made public commitments to open research practices but continue to use closed and commercial bibliographic data sources for research analytics.” The announcement should “spur a wider range of organizations to ‘put their money where their mouth is.’”
To that end, the declaration’s supporters hope to establish a Coalition for Open Research Information to plan next steps, says coordinator Bianca Kramer, a scholarly communications expert with consultancy Sesame Open Science. “We want to make it easier for organizations to work towards that transition, among other things by benefiting from each other’s expertise and by exploring collective action.”
Establishing and maintaining a research information database is no easy feat. Although computer algorithms can gather a lot of data automatically, database owners additionally fix errors and fill in missing information, as well as provide search capabilities and analytical tools that allow users to navigate these vast resources.
Existing alternatives to proprietary databases include PubMed, Crossref, OpenCitations, and OpenAlex. The last of these, established in 2022 by nonprofit OurResearch with funding from U.K. charity Arcadia Fund, has recently attracted high-profile endorsements, striking up partnerships with organizations including the French Ministry of Higher Education and Research.
But some experts raise concerns about their quality compared with the proprietary databases at this stage. In a recent analysis, Frédérique Bordignon, a researcher in bibliometrics at the School of Bridges ParisTech, found that a large chunk of the thousands of articles returned by OpenAlex for her institution were incorrectly assigned. Errors included confusing conference papers with academic articles and mixing up institution names. Commercial databases such as the Web of Science had some of these problems at inception, she says, but have eliminated many thanks to corrections provided by the institutions—work that would have to be repeated with the new databases.
Jason Portenoy, senior data engineer at OurResearch, acknowledges this need for community input, saying it’s understandable institutions might balk at putting the work in again. “But the difference is that with OpenAlex, it is happening in the open,” he says. Any gaps in data quality are closing fast, adds OurResearch CEO Jason Priem. “OpenAlex is evolving very quickly, and so often issues uncovered by our community are fixed in a few months.” When one of the declaration’s coordinators—Ludo Waltman, scientific director at the Centre for Science and Technology Studies at Leiden University—and colleagues recently used OpenAlex to rank more than 1400 universities worldwide, they concluded that although it needs improvement, the approach yielded “surprisingly good data quality.”
Clarivate, which runs the Web of Science and helped fund OurResearch’s predecessor, ImpactStory, “broadly support[s] the aims of this declaration,” says Senior Vice President of Research and Analytics for Academia and Government Emmanuel Thiveaud. “However, we believe there is room and need for multiple perspectives. … No single approach nor single entity could address the most pressing challenges facing research.” Elsevier, which runs Scopus, says it has long backed open initiatives and welcomes “any projects that support research as we share the same goal.”
Commercial databases can still provide value in this new landscape, Waltman says. But, “Instead of monetizing their data, [they could] shift to a new way of working in which their data is open and users instead pay for services on top of the data.”
Daniel Hook, CEO of Digital Science, which operates the proprietary database Dimensions, welcomes this idea. (Dimensions already offers a free version for noncommercial use, though users have to subscribe to access full features.) Still, such a transition will take time, Hook says. Proprietary databases need to recover the costs of establishing, enhancing, and maintaining such large data sets—a challenge that open equivalents such as OpenAlex could also face long term.
doi: 10.1126/science.zyyid5c
