OpenEval: la IA entra en la revisión científica y redefine el futuro del peer review

Publicado en blog Universo abierto
https://universoabierto.org/2026/07/03/openeval-la-inteligencia-artificial-entra-en-la-revision-cientifica-y-redefine-el-futuro-del-peer-review/

OpenEval: la inteligencia artificial entra en la revisión científica y redefine el futuro del peer review

OpenEval Project. “OpenEval Project: Transparent LLM-Enabled Peer Review Assessment”. Plataforma de investigación abierta sobre evaluación científica asistida por inteligencia artificial, 2026. Disponible en: OpenEval Project

OpenEval propone una revolución en la evaluación científica al sustituir la revisión global del artículo por un análisis automatizado de cada afirmación individual contenida en el paper, demostrando que la inteligencia artificial puede participar activamente en la validación del conocimiento científico y cuestionando el modelo tradicional de peer review que ha dominado la ciencia durante siglos

El proyecto OpenEval representa una de las iniciativas más ambiciosas actualmente en desarrollo para replantear uno de los pilares centrales de la ciencia moderna: el sistema de peer review o revisión por pares. Durante más de tres siglos, la validación de artículos científicos ha dependido casi exclusivamente del juicio humano de especialistas encargados de evaluar la calidad metodológica, la consistencia argumentativa y la solidez empírica de un trabajo antes de su publicación. Sin embargo, el crecimiento exponencial de la producción científica mundial —acentuado todavía más por el uso creciente de herramientas de inteligencia artificial generativa— está comenzando a desbordar la capacidad del sistema tradicional. OpenEval surge precisamente como respuesta a este problema estructural: desarrollar un sistema transparente, sistemático y automatizado capaz de analizar artículos científicos mediante modelos de lenguaje avanzados y comparar sus evaluaciones con revisiones realizadas por expertos humanos.

La innovación central del proyecto consiste en cambiar radicalmente la unidad básica de evaluación científica. Tradicionalmente, un artículo se revisa como un documento global donde los revisores formulan observaciones generales sobre hipótesis, metodología, resultados o conclusiones. OpenEval propone descomponer cada paper en unidades mínimas verificables: afirmaciones concretas o claims individuales. Cada afirmación es extraída automáticamente del texto mediante procesamiento lingüístico avanzado y posteriormente clasificada según el tipo de evidencia que la respalda. El sistema distingue, por ejemplo, afirmaciones sustentadas en datos experimentales directos, referencias bibliográficas previas, inferencias estadísticas o interpretaciones especulativas. Esta descomposición granular permite que la inteligencia artificial no evalúe un artículo como un bloque narrativo indivisible, sino como una red estructurada de afirmaciones susceptibles de verificación independiente. La idea responde a una intuición fundamental: la ciencia debería ser legible no solo para seres humanos, sino también para máquinas capaces de interpretar formalmente la arquitectura lógica del conocimiento científico.

Para poner a prueba esta metodología, los desarrolladores construyeron uno de los mayores corpus experimentales de revisión científica automatizada disponibles actualmente. El sistema procesó 16.089 artículos científicos procedentes de la revista de acceso abierto eLife, identificando 1.964.856 afirmaciones individuales distribuidas en casi 300.000 unidades evaluables. Paralelamente se recopilaron más de 29.000 revisiones generadas por OpenEval y cerca de 29.205 revisiones realizadas previamente por revisores humanos, permitiendo comparar ambos sistemas de evaluación. Uno de los hallazgos más significativos fue comprobar que la inteligencia artificial identificaba un mayor número de afirmaciones relevantes dentro de cada artículo que los revisores humanos. Mientras los expertos humanos tendían a concentrarse en un conjunto relativamente limitado de resultados principales, OpenEval lograba cubrir un espectro mucho más amplio del contenido científico, detectando matices argumentativos que frecuentemente pasan desapercibidos durante el proceso convencional de peer review.

El proyecto revela además una cuestión especialmente relevante: los sistemas automatizados no solo son capaces de reproducir evaluaciones humanas, sino que en ciertos aspectos pueden mostrar comportamientos analíticos diferentes e incluso más rigurosos. Los datos comparativos muestran que OpenEval tiende a ser más conservador frente a afirmaciones basadas en especulación o inferencias indirectas, mientras que otorga mayor confianza a resultados respaldados por datos experimentales o citas verificables. En varios casos, la inteligencia artificial clasificó determinadas afirmaciones como inciertas o insuficientemente sustentadas allí donde revisores humanos habían emitido valoraciones más favorables. Esto sugiere que la automatización no necesariamente implica replicar sesgos humanos existentes, sino introducir nuevas formas de escrutinio científico potencialmente más sistemáticas y consistentes. La revisión científica comienza así a transformarse desde una práctica artesanal basada en juicio experto hacia un proceso parcialmente algorítmico basado en análisis estructurado del conocimiento.

Otro elemento decisivo del proyecto es su apuesta por la transparencia. A diferencia del sistema tradicional de revisión académica, donde los informes de los evaluadores suelen permanecer ocultos o limitados al editor y a los autores, OpenEval permite explorar públicamente los resultados a través de una interfaz interactiva. Los usuarios pueden examinar manuscritos concretos, visualizar cada afirmación extraída automáticamente y comparar directamente las evaluaciones emitidas por inteligencia artificial frente a revisores humanos. Esta apertura convierte el proceso de evaluación científica en un objeto de investigación en sí mismo, permitiendo estudiar empíricamente cómo se toman decisiones editoriales, qué tipo de afirmaciones generan mayor controversia y en qué áreas coinciden o divergen humanos y algoritmos. La revisión por pares deja de ser una práctica opaca para convertirse en un sistema observable y cuantificable.

Desde una perspectiva más amplia, OpenEval se inscribe en un cambio profundo dentro del ecosistema de comunicación científica contemporánea. Durante siglos, el artículo académico fue simultáneamente unidad de conocimiento, unidad narrativa y unidad de evaluación. Proyectos como OpenEval cuestionan esa estructura histórica al sugerir que el verdadero objeto de validación científica no debería ser el artículo como documento cerrado, sino cada afirmación verificable que lo compone. Esta lógica conecta directamente con propuestas emergentes que defienden una ciencia machine-readable, es decir, una producción científica estructurada de tal forma que sistemas artificiales puedan navegar, contrastar y evaluar automáticamente el conocimiento publicado. Si esta visión prospera, el peer review del futuro podría dejar de consistir en enviar manuscritos completos a dos o tres especialistas y pasar a funcionar como un sistema híbrido donde algoritmos analizan miles de afirmaciones individuales antes de que expertos humanos intervengan en la interpretación final.

La consecuencia filosófica de este proyecto resulta especialmente profunda. Durante siglos se asumió que evaluar ciencia era una capacidad exclusivamente humana basada en experiencia disciplinar, intuición metodológica y juicio crítico experto. OpenEval pone en cuestión esa convicción al demostrar que sistemas algorítmicos pueden participar activamente en la validación del conocimiento científico a gran escala. Esto obliga a replantear no solo la infraestructura editorial académica, sino conceptos mucho más amplios como autoridad científica, legitimidad epistemológica y confianza en los mecanismos que históricamente han definido qué conocimiento merece incorporarse al patrimonio intelectual colectivo. La inteligencia artificial deja así de ser simplemente una herramienta auxiliar para convertirse en un nuevo actor dentro del propio proceso de construcción y validación de la ciencia contemporánea.

ELSEVIER vs META-Zuckerberg: ladrón que roba a ladrón... o la defensa del negocio de los artículos científicos

Publicado en THE Times Higher Education
https://www.timeshighereducation.com/news/open-season-scholars-rights-if-elsevier-loses-meta-fight

«Se abrirá la veda» sobre los derechos de los investigadores si Elsevier pierde la batalla contra Meta

Según los expertos, una derrota del gigante editorial en su demanda judicial sobre el rastreo mediante IA dificultará mucho más que los investigadores puedan controlar cómo se utilizan sus trabajos

Publicado el 15 de mayo de 2026

Mientras que la editorial académica más grande del mundo se ha enfrentado a boicots y a dimisiones masivas de editores de revistas debido a las preocupaciones sobre sus precios y márgenes de beneficio, el anuncio de Elsevier de que se une a una demanda colectiva junto con otras cuatro editoriales importantes para demandar a Meta y a su fundador, Mark Zuckerberg, por «infracción deliberada de millones de obras textuales… para desarrollar los modelos de lenguaje a gran escala (LLM) Llama de Meta» podría atraer un apoyo significativo de la comunidad académica, según afirmó Alina Trapova, profesora de Derecho de la Propiedad Intelectual en la Facultad de Derecho de la UCL. 

«Puede que los académicos no hayan considerado a Elsevier como la editorial más favorable a lo largo de los años, pero ahora parece que está luchando por los derechos de los autores», declaró Trapova a Times Higher Education con motivo de la primera demanda relacionada con la inteligencia artificial (IA) presentada por varias editoriales líderes.

Alegaban que Meta había recopilado millones de artículos y libros pirateados ilegalmente para entrenar su modelo de IA generativa, el cual, a su vez, había devuelto a Internet unos 40 terabytes de datos, equivalentes a unos 5 millones de libros. Muchos de los resúmenes de Llama sobre resultados de investigación contienen alucinaciones e inexactitudes que podrían dañar la credibilidad de los académicos, afirma Elsevier. 

«Para los académicos, obtener reconocimiento a través de la atribución es realmente importante. Necesitamos que esas atribuciones nos lleguen a nosotros, en lugar de que nuestro trabajo acabe convertido en resúmenes anónimos generados por IA o en una simple alucinación», afirmó Trapova al explicar por qué los académicos se pondrán del lado de Elsevier.

Meta alega que el uso que hace de los artículos para entrenar su LLM constituye un «uso legítimo», pero, de aceptarse, esto ignoraría los derechos de los autores sobre sus propios materiales, que Elsevier ha tratado de gestionar mediante acuerdos individuales, continuó Trapova.   

«Se ha pedido a los colaboradores que firmen estos documentos indicando si permiten que su trabajo se utilice en diferentes contextos; Meta ha interpretado este acuerdo en el sentido de que “podemos hacer lo que queramos con este trabajo”, lo cual es una maniobra realmente desagradable», afirmó.

En este sentido, «está en juego la integridad académica», aunque «este no es el aspecto central de la demanda», continuó Trapova.

«Para Elsevier, esta demanda tiene como objetivo principal proteger su modelo de negocio, y los derechos de autor son el mecanismo legal para hacerlo. Pero también velará por los intereses de los autores y creadores», afirmó.

Aunque a muchos académicos les resulte difícil simpatizar con Elsevier —cuya empresa matriz, RELX, tiene una capitalización bursátil de 43 000 millones de libras—, la defensa jurídica de sus intereses económicos podría contribuir a reforzar el control que los autores tienen sobre sus obras y el uso que se hace de ellas, señaló Trapova. «El caso no se centra principalmente en la integridad de la investigación: el marco jurídico de EE. UU. tiene un aspecto moral, pero las protecciones en este ámbito son mucho más débiles. Por eso, lo que realmente se debate en los tribunales gira en torno a la pérdida económica», afirmó.

Emily Hudson, profesora de Derecho en la Universidad de Oxford, cuya investigación se centra en los derechos de propiedad intelectual, coincidió en que los académicos se pondrán en su mayoría del lado de Elsevier.

«Hay mucho apoyo... a las acciones legales contra las empresas tecnológicas», explicó Hudson, y añadió: «Esto no quiere decir que los académicos estén en contra del uso y el desarrollo de la IA en sí. Más bien, creo que la preocupación se refiere a cómo se está utilizando la IA».

«Si un investigador quiere utilizar mis artículos para, por ejemplo, desarrollar una IA que ayude a diagnosticar enfermedades, entonces me parecería bien que lo hiciera de forma gratuita y, de hecho, sin pedirme permiso. Por otro lado, me sentiría mucho menos cómoda si una empresa tecnológica utilizara el mismo conjunto de artículos para desarrollar un producto de IA generativa que ayude a los usuarios a redactar correos electrónicos o escribir ensayos», explicó.

«Dicho esto, debemos tener claro que los intereses de las editoriales y los académicos no coinciden del todo», afirmó Hudson, señalando que un acuerdo de compromiso podría ser aceptable para Elsevier, pero no para los autores.

«En este caso, dado que son las editoriales las que impulsan el asunto, es posible que el resultado final que ellas prefieren o consideran aceptable (como acuerdos de licencia con empresas tecnológicas) no sea el preferido por los autores académicos. Así pues, aunque tanto las editoriales como los autores puedan tener interés en demostrar que las empresas han infringido los derechos de autor en el desarrollo actual de la IA, puede que no haya acuerdo sobre cómo se debería gestionar esto en el futuro». 

Sin embargo, Caroline Ball, responsable de participación comunitaria en Open Book Collective, una organización que defiende la publicación de acceso abierto, afirmó que el enfrentamiento entre Elsevier y Meta era «complicado» para los académicos.

«Es más complicado que el caso de piratería de libros de Anthropic, ya que en aquel caso los derechos de los autores eran el núcleo del asunto, y cualquier compensación económica iría destinada principalmente a los autores», afirmó Ball en referencia al acuerdo de 1100 millones de libras esterlinas alcanzado en septiembre de 2025. 

«Si Elsevier ganara y obtuviera una indemnización o compensación, es poco probable que nada de eso llegara a las instituciones o a los académicos, ya que, en la mayoría de los casos, estos habrán cedido sus derechos a Elsevier en el momento de la publicación. Así que solo supondrá más dinero para Elsevier a costa del trabajo académico de estos», afirmó.

«Si Meta ganara y su uso generalizado de material protegido por derechos de autor se considerara legal, o lo que es más probable en los tribunales estadounidenses, “uso legítimo”, entonces se abriría la veda sobre el material protegido por derechos de autor», continuó Ball, añadiendo: «¡Sospecho que para la mayoría de nosotros en la comunidad académica se trata de un caso de “una plaga para ambas partes”!».

*****************************************

Open season’ on scholars’ rights if Elsevier loses Meta fight

Loss for the publishing giant in its legal action over AI crawling will make it much harder for scholars to assert control on how their outputs are used, say experts

Published on May 15, 2026

Last updated May 15, 2026

Jack Grove

Twitter: @jgro_the

While the world’s largest academic publisher has faced boycotts and mass walkouts by journal editors over concerns over its prices and profit margins, Elsevier’s announcement that it is joining a class action with four other major publishers to sue Meta and its founder Mark Zuckerberg over “wilful infringement of millions of textual works…to develop Meta’s Llama large language models (LLM)” may attract significant support from the scholarly community, said Alina Trapova, lecturer in intellectual property law at UCL’s Faculty of Laws.  

“Academics might not see Elsevier as the friendliest publisher over the years but now it seems it is fighting for the rights of authors,” Trapova told Times Higher Education on the first artificial intelligence (AI) action brought by several leading publishing houses.

They allege Meta scraped millions of illegally pirated articles and books to train its generative AI model, which has, in turn, returned about 40 terabytes of data, equivalent to about 5 million books, to the internet. Many of the Lllama summaries of research outputs contain hallucinations and inaccuracies which could potentially damage the credibility of academics, claims Elsevier.  

“For academics, getting recognition through attribution is really important for us. We need those attributions coming to us rather than having our work spat out in anonymous AI summaries or a hallucination,” said Trapova on why academics will side with Elsevier.

Meta claims its use of articles for training its LLM represents “fair use” but, if accepted, this would ignore authors’ rights to their own materials which Elsevier had sought to manage via individual agreements, continued Trapova.   

“Contributors have been asked to sign these documents stating whether they permit their work to be used in different contexts – Meta has interpreted this agreement as that ‘we can do anything with this work’ which is a really nasty move,” she said.

In this respect, “academic integrity is at stake”, although “this is not the central piece of the claim”, Trapova continued.

“For Elsevier this lawsuit is about mainly about protecting their business model and copyright is the legal mechanism to do this. But it will also be looking after the interests of authors and creators,” she said.  

While many academics may find it hard to sympathise with Elsevier, whose owner RELX has a market capitalisation of £43 billion, its legal defence of its economic interests may help to uphold how authors can control their works and how they are used, said Trapova. “The case isn’t primarily about research integrity – the legal framework in the US does have a moral side but protections on this side are much weaker. That is why what is actually in court is framed around economic loss,” she said.

Emily Hudson, professor of law at the University of Oxford, whose research centres on intellectual property rights, agreed that academics will mostly side with Elsevier. 

“There is a lot of support...for legal actions against tech companies,” explained Hudson, adding: “This is not to suggest that academics are against the use and development of AI, per se. Rather, I think the concern relates to how AI is being used.”

“If a researcher wants to train on my papers to, say, develop an AI that helps diagnose diseases, then I may be happy for them to do so for free, and indeed without asking me for permission. On the other hand, I may be far less comfortable with a tech firm training on the same set of papers to develop a generative AI product that helps users draft emails or write essays,” she explained. 

“That said, we need to be clear that the interests of publishers and academics do not completely align,” said Hudson, noting that a compromise deal might be acceptable to Elsevier but not authors.

“In this case, because we have publishers driving the case, it may be that their preferred or acceptable endpoint (such as licensing deals with tech firms) may not be that preferred by academic authors. So while both publishers and authors may have an interest in showing that firms have infringed copyright in existing AI development, there may not be agreement on how this should be handled in the future.”

However, Caroline Ball, community engagement lead at the Open Book Collective, which champions open access publishing, said the Elsevier-Meta face-off was a “complicated one” for academics.

“It’s more complicated than the Anthropic book piracy case, since in that case authors’ rights were at the heart of the issue, and any financial recompense would go to the authors, mostly,” said Ball on the £1.1 billion settlement agreed in September 2025.

“Should Elsevier win and get a payout or compensation, it’s unlikely any of that would make its way back to institutions or academics, since in most cases they will have signed their rights over to Elsevier at the point of publication. So it will be just more money for Elsevier on the basis of their academic labour,” she said.

“Should Meta win, and their wholesale use of copyright material be deemed legal, or more likely in US courts, ‘fair use’, then it’s open season on copyrighted material,” Ball continued, adding: “I suspect for most of us in the academic community it’s a case of ‘a plague on both your houses’!”

jack.grove@timeshighereducation.com

CHINA doctora con inventos, no con artículos científicos

Publicado en La Razón
https://www.larazon.es/tecnologia/china-cambia-reglas-educacion-menos-estudios-cientificos-mas-inventos_2026020869889b3a9243cc133c3b0c8e.html?utm_source=newsshowcase&utm_medium=discover&utm_campaign=CCwqMwgwKioIACIQyDBEBnpr3Eiq38U696XRlSoUCAoiEMgwRAZ6a9xIqt_FOvel0ZUwz6X4BDCMx6YF&utm_content=bullets#goog_rewarded

China cambia las reglas de la educación: menos estudios científicos, más inventos

Mientras la mayoría mide la excelencia académica por artículos publicados, el gigante asiático ha decidido otorgar doctorados por construir puentes, diseñar tecnologías y resolver problemas reales.

Juan Scaliter
08.02.2026 

En un mundo en el que la ciencia y la tecnología son motores críticos del desarrollo económico y social, China está cambiando la manera en que forma a sus doctorandos. Recientemente, el país ha introducido lo que se ha denominado como PhDs prácticos: doctorados que se otorgan no por una tesis tradicional publicada como artículo académico, sino por logros tecnológicos y productos concretos que resuelven problemas reales del sector industrial y de ingeniería.

Tradicionalmente, el doctorado, en la mayoría de los sistemas educativos del mundo, ha sido sinónimo de investigación original y de producción de artículos científicos en revistas especializadas. Sin embargo, el nuevo enfoque chino pone énfasis en la creación de soluciones y desarrollos tecnológicos directamente aplicables, tales como prototipos, técnicas industriales o sistemas empleados en grandes proyectos de infraestructura.

Por ejemplo, uno de los primeros graduados con este nuevo tipo de doctorado fue un ingeniero civil, Zheng Hehui, cuya “tesis” se basó en bloques modulares, tipo Lego, que se utilizaron en la construcción de un puente colgante sobre el río Yangtsé. Gracias a ello, obtuvo su doctorado son necesidad de una tesis escrita tradicional.

“(El enfoque) puede guiar a los estudiantes a resolver problemas reales que nuestra sociedad necesita, especialmente en industrias estratégicas con cuellos de botella tecnológicos", según explica en una entrevista, Sun Yutao, experto en políticas de innovación en China.

Este cambio forma parte de reformas educativas impulsadas desde 2010 por el gobierno chino, con leyes aprobadas en 2024 que permiten a las universidades evaluar y otrogar grados doctorales basados en logros prácticos más que académicos convencionales. Eso sí, por ahora solo está disponible en carreras vinculadas a la ingeniería.

Este nuevo enfoque no surge en el vacío. China ha intensificado su inversión en ciencia y tecnología durante décadas, con un crecimiento sostenido del ecosistema de innovación nacional. Por ejemplo, el índice de innovación del país (una medida que combina entorno, inversión, producción y eficacia de la innovación) pasó de 100 en 2015 a 174,2 en 2024, con aumentos notables en la producción de patentes y en la educación en ciencia y tecnología.

Del mismo modo, China ha escalado posiciones en indicadores globales de innovación, llegando al top 10 del Índice Global de Innovación, desplazando a economías hasta ahora más dominantes como Alemania.

Este avance se ha acompañado de una proliferación de talentos en ciencia, tecnología, ingeniería y matemáticas (STEM). Datos recientes muestran que China ha producido más doctorados en campos STEM que los Estados Unidos: en el año 2000, China otorgó 7.500 doctorados, mientras que Estados Unidos más que duplicaba las cifras: 17.800. Ahora la tendencia se ha revertido y China alcanzó los 51.000 doctorados, mientras que EEUU apenas llegó a 34.000 doctorados.

Además, el país tiene una enorme base de graduados en general: alrededor de 5,8 millones de titulados, con más del 40 % optando por carreras STEM, lo que alimenta una vasta fuerza de trabajo cualificada para investigación y desarrollo. Aunque China no participa oficialmente en el informe PISA (Programa Internacional para la Evaluación de Estudiantes) como país entero, regiones educativas como Macao, Beijing y Shanghai han demostrado resultados muy superiores a la media de la OCDE en matemáticas, lectura y ciencias, con puntuaciones que compiten incluso con los países mejor posicionados.

Los cambios en el modelo de formación doctoral en China pueden empujar a otros países a replantearse qué significa realmente “investigación de alto impacto”. Desde lo académico, ¿se debe seguir valorando principalmente artículos técnicos publicados o se debe premiar también resultados importantes para la industria y la sociedad?

Si a esto le sumamos la “industria de la publicación”, donde se cobra miles de euros por publicar un estudio, que no todos ellos son fiables y que hasta se paga por poner el nombre en el estudio, como si se hubiera participado del mismo, esta nueva vertiente china, puede resolver de un plumazo el conflicto. Y, en el camino, impulsar la innovación.