Publicado en Research information
https://www.researchinformation.info/analysis-opinion/measuring-usage-in-the-age-of-ai/
Medición del uso en la era de la inteligencia artificial
21 de abril de 2026
Tasha Mellins-Cohen expone las directrices de buenas prácticas de COUNTER Metrics para la medición del uso asociado con la inteligencia artificial generativa y agéntica.
Durante más de dos décadas, el Código de Prácticas COUNTER ha constituido el estándar mundial para medir y reportar métricas normalizadas de uso de contenidos. Sin embargo, el rápido auge de la inteligencia artificial (IA) generativa y agéntica está transformando de manera fundamental la forma en que los investigadores descubren y consumen información.
El cambio en los datosLas métricas tradicionales de interacción están experimentando un cambio estructural. Los motores de respuesta basados en IA y las herramientas de generación de resúmenes pueden extraer información de investigaciones revisadas por pares sin necesidad de dirigir al usuario al sitio web de una editorial. Esto genera una brecha de valor: el contenido publicado produce un valor significativo para el investigador, su institución y su organismo financiador, pero no genera ninguna visita al sitio web del editor.
No fue sino hasta que las bibliotecas de todo el mundo comenzaron a analizar sus informes COUNTER correspondientes a 2025 cuando obtuvimos evidencia sólida del problema de los «cero clics» (zero-click). Al comparar los datos de 2025 con los de 2024, las bibliotecas empezaron a informar de cambios importantes en los patrones de uso. Al mismo tiempo que las editoriales registraban incrementos significativos en el uso bruto de sus plataformas, tanto ellas como sus bibliotecas clientes observaban una disminución notable del uso humano reflejado en los informes COUNTER.
En un principio pensamos que esos incrementos en los datos de uso bruto, más que reflejar una interacción humana orgánica, podían indicar actividad de agentes de IA, ya fuera procedentes de herramientas desarrolladas por las propias editoriales, de sistemas de terceros o incluso de agentes personalizados creados por los investigadores. Investigaciones posteriores respaldaron esta hipótesis. Las bibliotecas que habían adquirido herramientas de IA, como Research Assistant de ProQuest o Gemini de Google (entre otras), parecían experimentar caídas más pronunciadas en las estadísticas COUNTER que aquellas que seguían promoviendo el acceso directo de estudiantes y profesores a los recursos electrónicos suscritos.
¿Seguimos necesitando métricas normalizadas?La misión de COUNTER consiste en reunir a la comunidad del conocimiento en torno a un estándar que garantice que las métricas de uso sean consistentes, confiables y comparables entre distintas plataformas. Como estándar abierto, somos firmantes de los Principios para una Infraestructura Académica Abierta (Principles of Open Scholarly Infrastructure). Esto significa que, si llegara el momento en que COUNTER dejara de ser necesario, tomaríamos las medidas responsables para facilitar una transición ordenada o el cierre de nuestras actividades.
En el contexto de los cambios de comportamiento impulsados por la inteligencia artificial, necesitábamos preguntarnos si COUNTER seguía siendo útil. ¿Siguen necesitando nuestras métricas las bibliotecas, los consorcios, las editoriales y los proveedores tecnológicos en un entorno de «cero clics»? La respuesta fue un rotundo sí. De hecho, en este nuevo ecosistema dominado por la IA existe una necesidad aún mayor de contar con métricas normalizadas.
¿Las editoriales venden contenidos o servicios? ¿A quién se los venden? ¿Debe una biblioteca seguir invirtiendo en contenidos cuando su utilización se produce a través de un agente de IA y no mediante visitas directas de personas? ¿Deberían las bibliotecas redirigir sus inversiones hacia servicios de inteligencia artificial? ¿Cuál es el retorno de la inversión en esos escenarios? ¿Cómo podemos asegurarnos de comparar de forma justa el uso de la IA entre diferentes servicios y plataformas? ¿Cómo evitamos que la actividad de la IA eclipse el uso humano tradicional hasta el punto de impedir distinguir entre una auténtica actividad investigadora y el procesamiento automatizado? Y, por supuesto, ¿cómo protegemos la libertad académica de investigación separando los comportamientos de los usuarios de los informes de uso?
Todo ello sugiere que COUNTER podría ser hoy más necesario que nunca. Pero para responder a estas nuevas preguntas fue imprescindible revisar el Código de Prácticas y sus métricas tradicionales, concebidas originalmente para medir exclusivamente el uso humano.
Elaboración de directrices para medir el uso de la IALa versión 5.1 del Código de Prácticas COUNTER, que entró en vigor en enero de 2025, fue aprobada para su publicación a finales de noviembre de 2022, apenas unas semanas antes del lanzamiento de ChatGPT. En ese momento era imposible prever el enorme impacto que tendría la inteligencia artificial sobre la comunicación científica, ni imaginar cómo deberían medirse esos cambios. Por ello, la versión R5.1 se publicó tal como había sido concebida originalmente.
Para la primavera de 2025, la mayoría de las editoriales ya había implementado la actualización del Código y llegó el momento de abordar específicamente la cuestión del uso de la IA. El Comité Asesor de COUNTER creó entonces un grupo de trabajo integrado por representantes de editoriales, proveedores tecnológicos y bibliotecas para desarrollar directrices de buenas prácticas.
Tras un amplio proceso de consulta pública sobre el borrador —que incluyó la participación de los principales desarrolladores de inteligencia artificial—, COUNTER publicó en abril de 2026 sus nuevas Directrices de Buenas Prácticas para las Métricas de Uso de la IA Generativa y Agéntica.
Estas directrices introducen varias ampliaciones importantes al Código de Prácticas, centradas principalmente en dos ámbitos.
Definición del «Agente»Tradicionalmente, COUNTER trataba todos los robots informáticos (bots) de la misma manera y exigía excluir toda su actividad de los informes. El primer paso consistió, por tanto, en distinguir entre los bots maliciosos y los rastreadores web (que deben seguir excluyéndose), los usuarios humanos reales, las actividades de minería de textos y datos (TDM) y los sistemas de inteligencia artificial.
Con arreglo a las nuevas directrices, el uso realizado por sistemas de IA puede y debe registrarse mediante un nuevo valor del campo Access_Method denominado «Agent» (Agente). Esto permite diferenciar claramente el uso realizado por la inteligencia artificial del uso «Regular», correspondiente a usuarios humanos, así como de las actividades de minería de textos y datos (TDM).
Nuevos tipos de métricas para la inteligencia artificialCon el fin de responder a la preocupación —plenamente justificada— de que el uso de la IA pudiera distorsionar o dominar las estadísticas tradicionales, COUNTER introdujo un conjunto independiente de métricas específicas para la inteligencia artificial.
Estas nuevas métricas parten de la idea de que las herramientas de IA trabajan principalmente con fragmentos de texto (Chunks) de entre 100 y 300 palabras, en lugar de procesar documentos completos (Items), como artículos de revista. No obstante, se mantiene la distinción entre el acceso únicamente a metadatos y el acceso al texto completo, que representa un valor considerablemente mayor.
Así como las métricas Total Item Investigations y Unique Item Investigations registran el uso humano de los metadatos que describen un contenido, las nuevas métricas Total AI Investigations y Unique AI Investigations contabilizan el uso que hace la IA de esos fragmentos de metadatos.
De manera análoga, mientras que Total Item Requests y Unique Item Requests miden el acceso humano al texto completo de los documentos, Total AI Requests y Unique AI Requests registran las ocasiones en que una herramienta de inteligencia artificial está autorizada para utilizar el texto completo de un contenido.
Asimismo, se creó una nueva métrica denominada AI Responses Generated, destinada a contabilizar el número de veces que una herramienta de IA genera una respuesta textual a partir de una consulta realizada por un usuario. En cierto modo, constituye el equivalente para la inteligencia artificial de la métrica existente Searches Platform.
Perspectivas futurasAunque nos satisface haber publicado estas buenas prácticas, el trabajo está lejos de haber concluido. Es importante tener presentes varias consideraciones.
En primer lugar, desconocemos la rapidez con la que las editoriales podrán implementar estas nuevas métricas, aunque es poco probable que ello ocurra antes de finales de 2026. Por ello, si usted es bibliotecario y espera disponer pronto de métricas sobre el uso de la IA para comprender mejor este cambio de paradigma, deberá tener paciencia.
En segundo lugar, es muy probable que, a medida que las editoriales apliquen estas directrices, descubramos aspectos que requieren corrección. Precisamente una de las razones para publicar inicialmente una guía de buenas prácticas, en lugar de revisar inmediatamente el Código de Prácticas, es que las buenas prácticas pueden modificarse con mayor flexibilidad que el propio Código.
Por otra parte, estas primeras directrices se aplican principalmente a las herramientas de inteligencia artificial integradas en las plataformas de las editoriales. Si lo que se busca son métricas correspondientes a herramientas externas, como Google Gemini, todavía no podemos ofrecer una solución.
En consecuencia, el trabajo continúa. La segunda fase se centrará en las herramientas de terceros y en los servicios externos a las plataformas editoriales. Hemos recibido valiosos comentarios y una participación muy activa de desarrolladores de IA para la comunicación científica, como Scite y Consensus, así como de intermediarios como Cashmere. Confiamos en que, combinando las actuales directrices sobre IA con nuestras buenas prácticas relativas al uso sindicado de contenidos, podremos desarrollar mecanismos de reporte adecuados para estos nuevos actores del ecosistema de la comunicación científica. Esperamos que esta segunda fase avance con mayor rapidez que la primera.
Nos gustaría conocer la opinión de todas las personas que trabajan en la medición del uso de la inteligencia artificial. Ya sea usted bibliotecario, editor o profesional del sector tecnológico, le invitamos a ponerse en contacto con nosotros.
Tasha Mellins-Cohen es Directora Ejecutiva de COUNTER Metrics.
…………………………………………………………………..
Measuring Usage in the Age of AI
21 April 2026
Tasha Mellins-Cohen outlines COUNTER Metrics’ best practice guidance for usage metrics associated with generative and agentic AI
For more than two decades, the COUNTER Code of Practice has served as the global standard for measuring and reporting normalised content usage metrics. However, the rapid rise of generative and agentic artificial intelligence (AI) is fundamentally changing how researchers discover and consume information.
The data shiftTraditional engagement metrics are facing a structural shift. AI answer engines and summarisation tools can extract insights from peer-reviewed research without ever sending a user to a publisher website. This creates a value gap: published content creates significant value for the researcher, their institution, and their funder, but generates zero site visits for the publisher.
It wasn’t until libraries around the world started pulling their 2025 COUNTER reports that we had good evidence for the zero-click conundrum. When comparing 2025 with 2024, libraries started reporting major changes in usage patterns. At the same time as publishers were reporting significant spikes in raw usage, they and their library customers were seeing a noticeable decrease in human usage in COUNTER reports.
Rather than organic human engagement, we originally thought that the spikes in raw usage data might indicate agentic activity, either from publishers’ own tools, third-party systems, or even researchers’ custom-built agents. Further investigation backs up that supposition. Libraries that licensed AI tools, like (but not limited to!) ProQuest’s Research Assistant or Google’s Gemini, seemed to be experiencing larger COUNTER usage drops than libraries who still encouraged students and faculty to use their licensed content directly.
Do we still need normalised metrics?COUNTER’s mission is to bring the knowledge community together around a standard that ensures usage metrics are consistent, credible, and comparable across platforms. As an open standard, we’re signatories to the Principles of Open Scholarly Infrastructure. That means if we’re no longer needed, we will take responsible steps to transition or wind down our operations.
Within the context of AI-driven behavioural shifts, we needed to ask if COUNTER is still useful. Do libraries, consortia, publishers and technology providers need us in a zero-click environment? The answer was a resounding YES. If anything, in our new AI world there is an even greater need for normalised metrics.
Are publishers selling content, or services? Who are they selling to? Should a library invest in content when usage is mediated by an AI agent rather than a direct human visit? Should libraries redirect their investments into AI services instead? What’s the return on investment in those scenarios? How can we be sure we’re comparing AI usage fairly for different services and platforms? How can we prevent AI usage from swamping traditional human activity, making it impossible to distinguish genuine research engagement from automated processing? And of course, how can we protect academic freedom to research by separating user behaviours from usage reporting?
It turns out that COUNTER might be more necessary than ever before. But to address these new questions, we had to look again at the Code of Practice and its traditional human-centric usage metrics.
Developing AI usage guidelinesRelease 5.1 of the COUNTER Code of Practice, which came into effect in January 2025, was approved for publication at the end of November 2022 – just weeks before ChatGPT hit the market. There was no way for us to predict how widespread the impacts would be on the scholarly communications industry, nor to know how they might be measured, so we proceeded with R5.1 as originally planned.
By spring 2025 most publishers had implemented the updated Code, and it was time to tackle the issue of AI usage. Our Advisory Committee spun up a working group to develop best practice guidelines, with representatives from publishers, technology providers, and libraries.
Following extensive community consultation on the draft version, including with big AI developers, COUNTER published new best practice guidelines on generative and agentic AI usage in April 2026. You can read them in full at Best Practice on Generative and Agentic AI usage metrics
The best practice introduces several key extensions to the Code, focused in two areas.
Defining the “Agent”
We’ve historically treated all bots the same way, and required that all bot usage be excluded from COUNTER reports. That meant our first step had to be distinguishing between malicious bots and crawlers (which must still be excluded!), real humans, text and data mining, and AI systems. Under our new guidelines, AI usage can and should be reported using the new Access_Method “Agent”. This allows reports to split out usage by AI from “Regular”, human usage, and from text and data mining activity, “TDM”.
Dedicated AI Metric Types
To allay completely valid fears that AI usage could swamp or skew usage patterns, we introduced separate AI metrics.These new metrics reflect the idea that AI tools use Chunks (100-300 word text strings) rather than full Items (journal articles, for example). However, we’ve kept the distinction between access only to metadata, versus the higher value that can be derived from full-text content.
Just as Total and Unique Item Investigations track human usage of metadata describing a piece of content, Total and Unique AI Investigations count AI usage of metadata Chunks. And where Total and Unique Item Requests track human usage of full text content, Total and Unique AI Requests count when an AI tool is authorised to use the full text of a piece of content.
We also created a new AI Responses Generated metric to track the number of times an AI tool returns text in response to a user prompt. It’s effectively an AI variant of the existing Searches Platform metric.
Looking aheadAs pleased as we are to have published the best practice, the work doesn’t stop here. There are some caveats that you need to keep in mind:
We don’t know how quickly publishers will be able to implement the new metrics, though it’s unlikely to be much before the end of 2026 at the earliest. If you’re a librarian looking for AI usage metrics to address the data shift, you’re going to have to be patient!
There’s a high probability that as publishers implement the guidelines, we’re going to discover things that we got wrong. One of the reasons for creating a best practice, rather than going straight for a new release of the Code of Practice, is that best practices can be amended a little more flexibly than the Code itself.
These initial guidelines primarily apply to AI tools embedded on publisher platforms. If you’re looking for usage metrics from third parties like Google Gemini, we can’t help you just yet.
So yes, work continues! Phase two will focus on third-party and off-site tools, and we’ve had great feedback and engagement from scholarly AI developers like Scite and Consensus, as well as intermediaries like Cashmere. Between the existing AI guidelines and our best practice on syndicated usage, we think we can develop practical reporting mechanisms for these newer players in scholarly communication. Hopefully they will be a little quicker than phase one.
We’d love to hear from people who are working on AI usage. Whether you’re a librarian, a publisher, or a tech bro (or bro-ess), please get in touch.
Tasha Mellins-Cohen is Executive Director at COUNTER Metrics
