¿Hemos llegado al límite de la altmetría?

Publicado en Research Information
https://www.researchinformation.info/analysis-opinion/have-we-reached-limits-altmetrics?utm_campaign=RI%20Newsline%2009-01-24&utm_content=Have%20we%20reached%20the%20limits%20of%20altmetrics%3F&utm_term=Research%20Information&utm_medium=email&utm_source=Adestra

¿Hemos llegado al límite de la altmetría?

12 de diciembre de 2023

Tendencias del sector

La IA aumenta tanto el riesgo de manipulación deliberada de las métricas como el ruido general en el sistema de publicaciones académicas, escribe David Stuart.

Ha sido fascinante observar el crecimiento de las altmetrics y otras métricas web en los últimos 20 años. Han pasado de ser una mera curiosidad a estar integradas en las páginas web de algunas de las mayores universidades y editoriales académicas del mundo.

Los avances tecnológicos, la normalización y el creciente interés por las métricas alternativas hacen que la información sobre el número de visitas o menciones en redes sociales que ha recibido una publicación se anuncie a menudo con orgullo junto a otras métricas más consolidadas.

Sin embargo, el éxito pasado no es un indicador del crecimiento futuro, y la web cambia constantemente. El mayor perturbador de la web en la actualidad es, sin duda, la inteligencia artificial (IA) y, aunque actualmente se desconoce todo el alcance de su impacto futuro, una cuestión que plantea es si hemos alcanzado los límites de las altmetrics.

El encanto de las métricas

En un mundo que cambia rápidamente, las métricas apelan a la objetividad. Ya se utilicen para evaluar, motivar o celebrar, ofrecen la promesa de algo más sólido que la mera opinión de un individuo. Durante mucho tiempo, en la publicación académica las métricas dominantes se han basado en las citas y, aunque se reconocen ampliamente las limitaciones del análisis de citas, a menudo se considera que agregando y normalizando las citas de diferentes maneras pueden indicar algo de valor.

Sin embargo, el paso a la publicación en línea aumentó enormemente las métricas disponibles. La gran variedad de datos en tiempo real sobre el uso de una publicación y el auge de la altmetría a partir de las redes sociales prometían ofrecer una comprensión más rápida y matizada del impacto que estaba teniendo la investigación, más allá del ámbito académico y de las publicaciones formales.

Sin embargo, las publicaciones informales están más expuestas a la manipulación que las formales, y parece que justo cuando las altmetrics están empezando a ganar una mayor aceptación, su legitimidad podría verse socavada. Hasta ahora los problemas de manipulación han sido mínimos, pero con la IA el riesgo es que estas métricas informales pierdan rápidamente su sentido.

El reto de la IA

La IA aumenta tanto el riesgo de manipulación deliberada de las métricas como el ruido general en el sistema de publicaciones académicas.

Todas las métricas son susceptibles de manipulación, y es inevitable que las personas y las organizaciones se vean empujadas a actuar de forma que obtengan la impresión más favorable. Como dice la ley económica de Goodhart: "Cuando una medida se convierte en un objetivo, deja de ser una buena medida". Aunque las consecuencias negativas de las métricas en la publicación académica pueden no ser tan inmediatamente evidentes como cuando un médico sólo quiere atender a pacientes con resultados favorables, o la policía sólo registra los delitos que se resuelven fácilmente, un énfasis excesivo en las métricas corre, no obstante, el riesgo de socavar el sistema. El problema de las fábricas de documentos que producen artículos de investigación que se retiran posteriormente también ha ido en aumento recientemente, y es probable que el problema se agrave a medida que las mejoras de la IA generativa dificulten cada vez más la identificación de dichos documentos. Sin embargo, en las publicaciones académicas sigue habiendo muchos controles humanos, pocos de los cuales se aplican a las altmetrics.

La historia de las métricas web se ha caracterizado tanto por la creciente facilidad con la que se pueden recopilar métricas como por la facilidad con la que se pueden manipular. Cuando empecé a contar objetos en la web, hace casi 20 años, la unidad elegida para el recuento era el hipervínculo. Aunque cualquiera podría haber creado múltiples sitios web con diferentes dominios para aumentar el impacto de su presencia en línea, el coste en tiempo y dinero, y el escaso interés por las métricas web en la comunidad académica, significaban que el tiempo de la mayoría de la gente estaría mejor empleado en crear mejores publicaciones académicas. Sin embargo, la estandarización de las grandes redes sociales aumentó el interés por las métricas web y redujo las barreras a la hora de crear impacto en Internet.  Ya no era necesario crear varios sitios web, sólo perfiles diferentes en varias plataformas de redes sociales. El coste se había reducido, en su mayor parte, a cero, lo único que se necesitaba era tiempo. Con la IA, sin embargo, el tiempo necesario también puede reducirse a cero, al menos después de la configuración inicial.

No es difícil imaginar un futuro próximo en el que, si uno quiere generar un centenar o incluso un millar de cuentas de microblogging para elogiar la calidad de su investigación, pueda simplemente pedirle a un programa de IA generativa que lo haga en su nombre. No será necesario curar cuidadosamente la imagen de cada cuenta para distinguirlas de los spambots, sino que el contenido se generará automáticamente. Es posible que le moleste un poco ver que las ideas artificiales ganan más seguidores que sus publicaciones cuidadosamente seleccionadas, pero el rápido aumento de la puntuación de atención sin duda aliviará el dolor.

Tampoco todo el ruido será deliberado. A medida que los contenidos se vayan creando de forma automática, la idea de que pueden contarse como si hubieran sido creados individualmente por un ser humano será cada vez más errónea. Una parte cada vez mayor de la web ya incluye la advertencia de que "esta página se ha creado automáticamente con la ayuda de IA", y estas secciones crecerán inevitablemente más rápido que las partes creadas por humanos. Como la creación de contenidos se basa cada vez más en otros contenidos ya creados, la ventaja de ser el primer artículo mencionado sobre un tema será cada vez más difícil de superar.

Con una distribución cada vez más sesgada de la atención, también es cada vez más importante asegurarse de que las menciones se asocian con el documento académico correcto. Es probable que la atribución errónea de las menciones académicas y las fluctuaciones resultantes en las métricas aumenten a medida que se generen más datos automáticamente.

¿El fin de las altmétricas?

A primera vista, parece que el uso cada vez mayor de la IA generativa anunciará inevitablemente el fin de las altmétricas, pero sólo si todo lo demás sigue igual. No cabe duda de que no será así.

También es probable que los sitios y servicios de redes sociales cambien en muchos aspectos. Es posible que las redes sociales gratuitas se abandonen en favor de los servicios de suscripción o distribuidos, en los que existen mayores restricciones a la generación de contenidos, lo que les permite constituir la base de nuevas y más sólidas métricas. El interés por el impacto académico en un servicio genérico como X puede verse sustituido por el interés por las cuentas verificadas por sí solas, o por servidores seleccionados que formen parte de una red distribuida.

También parece probable que se amplíe el interés por las métricas web más allá de las altmetrics. Existe una amplia gama de conocimientos que pueden obtenerse de la web, o de algunos de sus rincones, desde el análisis de lo que las actividades de búsqueda de la gente en Google Trends nos dicen sobre el estado de la sociedad hasta cómo los enlaces entre sitios web proporcionan información sobre las relaciones en el mundo real y la solidez de una economía local. Con demasiada frecuencia, sin embargo, estas alternativas han quedado marginadas al centrarse en métricas evaluativas a gran escala.

Conclusión

Las métricas web siempre han tenido que adaptarse a medida que han ido surgiendo nuevas tecnologías y, aunque sin duda la IA pondrá fin a una era de altmetría, no cabe duda de que surgirán nuevas áreas de investigación. Es probable que continúe la inclusión de una gran cantidad de citas de literatura gris y patentes que antes habrían quedado excluidas de la bibliometría, pero la idea de que pueda captar de forma significativa el contenido informal a escala más allá de eso puede ser cada vez más dudosa.

Las métricas web siempre han tenido unos fundamentos más suaves que la bibliometría, más proclives a obtener datos interesantes que fidedignos, y puede que no sea malo que lleguen hasta ahí. Las métricas evaluativas suelen tener un impacto negativo, sobre todo cuando se les otorga demasiada credibilidad, por lo que frenar las altmetrics justo cuando están ganando interés no es necesariamente malo.

******************************************

Have we reached the limits of altmetrics?

12 December 2023

Industry trends

AI increases both the risk of deliberate metric manipulation as well as the overall noise in the scholarly publishing system, writes David Stuart

It has been fascinating to watch the growth of altmetrics and other web metrics over the past 20 years. They have gone from being an idle curiosity to being embedded in the web pages of some of the biggest universities and scholarly publishers around the world.

Technological developments, standardisation, and a growing interest in alternative metrics means that information about the number of views or social media mentions a publication has received is often boldly heralded alongside other more established metrics.

Past success is not an indicator of future growth, however, and the web is constantly changing. The biggest disruptor of the web today is undoubtedly artificial intelligence (AI), and while the full extent of its future impact is currently unknown, one question it does raise is whether we have reached the limits of altmetrics. 

The allure of metrics

In a rapidly changing world metrics make an appeal to objectivity. Whether they are being used for evaluation, motivation, or celebration, they offer the promise of something more solid than a mere individual’s opinion. For a long time in scholarly publishing the dominant metrics have been based on citations, and while the limitations of citation analysis are widely recognised, it is nonetheless often felt that by aggregating and normalizing citations in different ways they can indicate something of value.

The shift to online publishing, however, vastly increased the metrics that were available. The rich variety of real time data on a publication’s use, and the rise of altmetrics from social media, promised to provide a faster and more nuanced understanding of the impact that research was having, beyond the academic realm, and beyond formal publications.

Informal publications are, however, more open to manipulation than formal publications, and it seems that just as altmetrics are beginning to gain wider acceptance, their legitimacy could be undermined. Up to now the problems of manipulation have been minimal, but with AI the risk is that such informal metrics could quickly become meaningless.

The challenge of AI

AI increases both the risk of deliberate metric manipulation as well as the overall noise in the scholarly publishing system.

All metrics are open to manipulation, and there is an inevitability that individuals and organizations will be nudged to act in ways that gain the most favourable impression. As Goodhart’s economic law puts it, “When a measure becomes a target, it ceases to be a good measure.” While the negative consequences of metrics in scholarly publishing may not be as immediately apparent as when a doctor only wants to take patients with favourable outcomes, or the police only record crimes that are easily solved, an overemphasis on metrics nonetheless risks undermining the system. The problem of paper mills churning out research articles that are retracted later has also been growing recently, and the problem is only likely to become greater as improvements to generative AI make it increasingly difficult to identify such papers. Within scholarly publishing, however, there is still a lot of human checks, few of which apply to altmetrics. 

The history of web metrics has been one of both the increasing ease with which metrics can be gathered and with which they can be manipulated. When I first started counting objects on the web, almost 20 years ago, the unit of choice to be counted was the hyperlink. While anyone could have created multiple web sites with different domains to increase the impact of their online presence, the cost in time and money, and the little interest in web metrics in the academic community, meant that most people’s time would be better spent creating better scholarly publications. The standardisation of the big social media sites, however, provided both greater interest in web metrics, and also lowered the barrier to creating an online impact.  It was no longer necessary to create multiple web sites, just different profiles on multiple social media platforms. The cost had, for the most part been reduced to zero, all that was required was time. With AI, however, the time involved may also be reduced to zero, at least after the initial set up.

It’s not hard to imagine a point in the near future when if you want to generate a hundred or even a thousand microblogging accounts to wax lyrical about the quality of your research, you can simply ask a generative AI program to do it on your behalf. It won’t be necessary to carefully curate each account’s image to distinguish them from spambots, rather the content will be generated automatically. You may be slightly annoyed to find the artificial insights gain more followers than your carefully curated posts, but the rapidly increasing attention score will undoubtedly ease the pain. 

Not all the noise will be deliberate either. As content is increasingly created automatically, the idea that pieces of content can be counted as though each was created as an individual act by a human will become increasingly flawed. Already increasing proportions of the web come with a warning that ‘this page has been created automatically with the help of AI’, and such sections will inevitably grow faster than the human created portions. As content creation is increasingly based on other content that has already been created, the advantage of being the first article mentioned on a subject will become increasingly difficult to overcome.

With an increasingly skewed distribution of attention it also becomes increasingly important to ensure that mentions are being associated with the correct scholarly document. The misattribution of scholarly mentions, and the resulting fluctuations in metrics, are only likely to increase as more data is generated automatically.  

The end of altmetrics?

At first glance it would seem as though the rapidly increasing use of generative AI will inevitably herald the end of altmetrics, but that’s only if everything else remains the same. Undoubtedly it won’t.

Social media sites and services are also likely to change in many ways. It may be that free social network sites are eschewed in favour of subscription or distributed services, where there are greater restrictions on the generation of content, enabling them to form the basis of new and more robust metrics. Interest in the scholarly impact on a generic service such as X, may be replaced by interest in verified accounts alone, or in selected servers that form part of a distributed network.

It also seems likely to broaden interest in web metrics beyond altmetrics. There’s a wide range of insights that can be gathered from the web, or corners of it, from analysing what people’s search activities on Google Trends tell us about the state of society to how linking between web sites provide insights into real-world relationships and the robustness of a local economy. Too often, however, these alternatives have been marginalized with a focus on large-scale evaluative metrics.

Conclusion

Web metrics have always had to adapt as new technologies have emerged and while AI will undoubtedly bring one era of altmetrics to an end, new areas of investigation will undoubtedly emerge. The inclusion of a host of grey literature and patent citations that would previously have been excluded from bibliometrics will likely continue, but the idea that it can meaningfully capture informal content at scale beyond that may be increasingly dubious.

Web metrics has always had softer foundations than bibliometrics, more likely to illicit insights that are interesting rather than authoritative, and it may not be a bad thing if that is as far as they go. Evaluative metrics often have a negative impact, especially when they are given too much credibility, so reining in altmetrics just as they are gaining interest is not necessarily a bad thing.

• David Stuart is author of the recently published Web Metrics for Library and Information Professionals (2nd Edition), which shows that that there is much more to web metrics than altmetrics. https://www.facetpublishing.co.uk/page/detail/web-metrics-for-library-and-information-professionals/?k=9781783305667