Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2026/06/17/attribution-provenance-reference-citation-and-ai-for-research-applications-understanding-the-differences/?informz=1&nbd=567d61ec-36ea-4197-85eb-43e2bd36d175&nbd_source=informz
Atribución, procedencia, referencia, citación e IA para aplicaciones de investigación: comprender las diferencias
Por Todd A. Carpenter
17 de junio de 2026
NOTA: Esta es la primera entrega de una serie de artículos sobre el tema del seguimiento de la procedencia (provenance tracking) en los sistemas de inteligencia artificial generativa y sus implicaciones para el uso y la evaluación de contenidos. La serie surge como uno de los resultados de un taller organizado por NISO, COUNTER y Cambridge University Press en mayo, con el objetivo de promover una mayor estandarización relacionada con el seguimiento de resultados, el reconocimiento y la evaluación en sistemas de IA. Las próximas entregas abordarán la reunión y sus conclusiones, así como futuros trabajos comunitarios relacionados con el seguimiento de la procedencia y del uso.
“Nos apoyamos sobre los hombros de gigantes” es una cita célebre que resume la naturaleza de las referencias y la importancia de reconocer las contribuciones de quienes nos precedieron con sus trabajos y descubrimientos.
Existe una historia fascinante detrás de esta frase de Isaac Newton, pero su significado no debería verse disminuido incluso si Newton pudo haberla utilizado como una indirecta contra su colega y rival científico. Mucho antes que Newton, innumerables pensadores ya reconocían el valor de referirse a sus predecesores para fortalecer un argumento. Era una técnica retórica descrita por griegos y romanos siglos antes de que Newton comenzara a teorizar sobre el movimiento de los cuerpos o las matemáticas del cambio.
Toda la estructura de la comunicación académica se basa en la manera en que cada investigación se conecta con hallazgos previos y se construye sobre ellos.
A pesar de esta larga historia, nuestra comprensión de cómo se relacionan los contenidos dentro de una vasta red de resultados científicos interconectados está siendo cuestionada por los avances tecnológicos. Comprender fundamentalmente qué hacen las herramientas de IA cuando enlazan información con sus fuentes es crucial para evaluarlas en contextos de investigación.
En un contexto más amplio, la medida en que algunas herramientas de IA tienen el potencial de romper la cadena del conocimiento científico y posteriormente reconstruirla será determinante para su adopción y para la confianza que las personas depositen en ellas. No incorporar mecanismos de procedencia y de conexión entre afirmaciones y sus fuentes podría socavar la integridad del registro académico e incluso disminuir la motivación de los autores para compartir sus resultados.
Algunas definiciones fundamentalesComencemos con algunas definiciones especialmente relevantes para esta discusión:
Atribución (Attribution):
Acción de asignar una obra o una afirmación a un autor, artista o persona determinada.
Referencia (Reference):
Proporcionar a un libro o artículo citas de las fuentes de información utilizadas.
Mencionar o hacer referencia a algo.
Cita textual (Quotation):
Acto de reproducir un pasaje, frase o fragmento breve tomado de un libro, obra, discurso u otra fuente, porque resulta interesante, útil o tiene valor de autoridad.
Citación (Citation):
Referencia o cita de un libro, artículo o autor, especialmente en un trabajo académico. En derecho, referencia a un caso previo utilizado como guía o apoyo argumentativo.
Procedencia (Provenance):
El hecho de provenir de una fuente determinada; origen o derivación.
La historia o trayectoria de un objeto (como una obra de arte, manuscrito o libro raro).
Fuente (Source):
Documento original o trabajo de referencia primario.
Muchas personas utilizan estos términos indistintamente en la vida cotidiana, pero sus diferencias son especialmente importantes en la comunicación académica.
En los últimos años, el uso impreciso de estos conceptos ha ocasionado problemas profesionales para algunos administradores e incluso ha permitido la manipulación del sistema con fines de ventaja personal. Debemos aplicar el mismo rigor al analizar qué hacen los sistemas de IA, cómo funcionan y cómo utilizamos sus resultados.
¿Qué hacen realmente los sistemas de IA?El registro histórico y académico está compuesto por materiales de fuente primaria: ideas originales, artículos, libros, cartas y otros documentos que transmiten conocimiento.
Un número creciente de herramientas de IA incorpora enlaces hacia materiales utilizados para elaborar una respuesta. Sin embargo, la forma en que estos sistemas generan esos enlaces difiere considerablemente.
La manera en que se utilizan términos como atribución, referencia, citación y procedencia es fundamental para determinar cuánto podemos confiar en sus resultados, así como para evaluar implicaciones posteriores relacionadas con el uso, la evaluación y la medición de valor.
Por ejemplo, anteriormente atribuí una cita a Isaac Newton. Lo hice sin indicar exactamente dónde la había dicho, por lo que el lector no podría verificar fácilmente si realmente lo hizo.
Además, lo que escribí no era una cita literal sino una paráfrasis.
Newton escribió realmente esta frase en una carta dirigida a su rival científico Robert Hooke en 1675:
“Lo que hizo Descartes fue un buen paso. Usted ha añadido mucho de diversas maneras, especialmente al considerar filosóficamente los colores de las láminas delgadas. Si he visto más lejos, ha sido por estar sobre los hombros de gigantes.”
Esto constituye una referencia en sentido amplio, pero no una referencia académica suficiente para localizar la fuente original.
Una referencia formal sería:
Turnbull, H. W. (ed.), 1959. The Correspondence of Isaac Newton: 1661–1675, Volumen 1. Londres: Publicado para la Royal Society por University Press, p. 416.
Sin embargo, Newton tampoco fue el primero en emplear esa expresión. Existen variantes que se remontan al siglo XII.
Dependiendo de si buscamos el origen de la frase, el significado de su uso o cualquier otro propósito, la referencia adecuada puede variar.
¿Por qué esto importa para la IA?Hasta este punto, podría parecer que este artículo se ha convertido en una lección básica sobre publicación académica. Y, en cierto sentido, así es.
Pero es precisamente esta comprensión fundamental la que necesitamos refrescar al analizar cómo funcionan los sistemas de inteligencia artificial.
Lo que hacen los sistemas de IA generativa al referirse a la literatura científica es muy diferente de lo que hacen los seres humanos cuando reflexionan sobre sus conocimientos o investigaciones.
La manera en que estos sistemas utilizan el contenido y reflejan las contribuciones de los autores es crucial para determinar el valor que pueden aportar.
Cuando las cosas salen malImaginemos que alguien escribe un párrafo afirmando que ciertas vitaminas previenen el sarampión.
(Nota: las vitaminas NO previenen el sarampión).
Para dar apariencia de rigor científico, esa persona busca luego algún artículo en Internet que parezca respaldar su afirmación. Quizá ni siquiera lo lea. Después inserta la referencia en su texto y presenta su afirmación como científicamente respaldada.
Maryam Zaringhalam, directora de políticas del Center for Open Science, comentó recientemente que existe suficiente contenido de acceso abierto que parece científico como para confirmar prácticamente cualquier creencia previa.
Los investigadores reconocen inmediatamente que este proceso está invertido respecto de cómo se realiza la investigación real.
Desafortunadamente, algunos sistemas de IA funcionan de manera parecida.
Generan primero una afirmación y luego añaden referencias posteriormente.
Esto no es exactamente lo mismo que una alucinación de IA, pero revela una falta de rigor en la construcción del contenido.
No todas las IA son igualesSería injusto afirmar que todas las herramientas de IA tienen este problema.
Los sistemas basados en RAG (Retrieval-Augmented Generation), por ejemplo, trabajan sobre conjuntos limitados y explícitos de documentos, lo que facilita establecer conexiones deterministas con las fuentes originales.
Además, las herramientas evolucionan rápidamente y se están explorando múltiples enfoques para mejorar la vinculación con las fuentes.
El problema de la comprensiónLos grandes modelos de lenguaje (LLM) absorben enormes cantidades de texto para construir representaciones estadísticas del lenguaje humano.
Durante ese proceso almacenan información y luego pueden reproducirla.
La mayoría de las personas puede asociar a Albert Einstein con la fórmula:
E=mc2E = mc^2E=mc2
Pero pocas pueden explicar exactamente qué significa o citar el artículo original de 1905:
Ist die Trägheit eines Körpers von seinem Energieinhalt abhängig?
(“¿Depende la inercia de un cuerpo de su contenido energético?”)
publicado en Annalen der Physik.
Incluso quienes conocen ese artículo saben que la fórmula E=mc² no aparece explícitamente en él, aunque suele citarse como su fuente.
Del mismo modo, un LLM puede afirmar con confianza que Einstein está relacionado con la fórmula sin poder identificar de manera fiable la fuente original.
Máquinas y humanos no leen igualSi una persona pudiera leer todos los artículos de un campo, recordarlos instantáneamente y enlazarlos siempre con sus fuentes exactas, sería una máquina perfecta de citación.
Pero eso no es lo que hacen las máquinas.
Las IA no "comprenden" lo que leen como lo hacen los seres humanos —o al menos como entendemos actualmente la cognición humana—.
Los cerebros humanos no calculan pesos vectoriales ni comparan distancias estadísticas en espacios de múltiples dimensiones.
Eso es precisamente lo que hacen los modelos de IA cuando "leen" contenido.
La importancia de la procedenciaLa arquitectura utilizada para conectar afirmaciones y fuentes tiene consecuencias profundas para la procedencia, la referencia resultante y su conexión con la fuente original.
Las expectativas que investigadores y académicos tienen sobre estos sistemas tendrán implicaciones profundas para toda la comunidad científica.
El reconocimiento de las ideas es la principal forma de compensación que reciben los autores de investigación.
Sin atribución adecuada, disminuyen los incentivos para publicar.
Además:
El uso ha sido fundamental para evaluar el valor de las suscripciones.
Las métricas de uso sustentan los análisis de retorno de inversión en acceso abierto.
La recopilación y análisis de citas ha sido un componente esencial de la evaluación científica desde los años sesenta.
Incorporar verificabilidad y documentación de fuentes en los sistemas de IA generativa es esencial para generar confianza.
En investigación, ingeniería y aplicaciones clínicas, la verificabilidad y la reproducibilidad son requisitos indispensables.
Si los sistemas de IA no pueden rastrear correctamente el origen de las afirmaciones que generan —y proporcionar atribución, reconocimiento y datos de uso—, terminarán rompiendo las cadenas de valor y confianza sobre las que se sostiene el ecosistema de comunicación científica.
En la próxima entrega de esta serie, los organizadores del taller describiremos una reunión organizada por Cambridge University Press & Assessment, COUNTER y NISO, donde se discutieron estos temas interrelacionados, junto con cuestiones fundamentales relacionadas con el seguimiento del uso y la evaluación de contenidos que sirven como fuente para los sistemas de IA generativa.
Posteriormente me centraré específicamente en posibles iniciativas para abordar los problemas de procedencia y atribución.
Todd A. Carpenter
……………………………………………………………
Attribution, Provenance, Reference, Citation, and AI for Research Applications – Understanding the Differences
By Todd A Carpenter
Jun 17, 2026
NOTE: This is the first of a multi-part post series on the issue of provenance tracking in generative artificial intelligence systems and its implications for usage and assessment. This series is one output of a workshop hosted by NISO, COUNTER, and Cambridge University Press in May in support of greater standardization related to output tracking, recognition and assessment for AI systems. Other upcoming pieces in this series will cover the meeting and its outputs, as well as forthcoming community work related to provenance tracking and usage.
“We stand on the shoulders of giants” is a famous quote that sums up the nature of reference and why recognizing the contributions of the work and discoveries that others who came before us is so important. There’s a fascinating history behind that statement of Sir Isaac Newton, but its meaning shouldn’t be diminished even as Newton might have meant it as an insult against his colleague and scientific rival. Countless others prior to Newton recognized the value of referencing one’s predecessors to buttress an argument. It was a rhetorical technique described by the Greeks and the Romans, centuries before Newton began theorizing about how bodies move or the mathematics of change. The entire structure of scholarly communications is built upon how each piece of research connects with — and builds upon — other findings.
Despite this long history, our understanding of how content is connected to other content in a vast network of interconnected research outputs is being challenged by technological developments. Fundamentally understanding what AI tools are doing when they are linking back to sources is critical to evaluating them for research purposes. In a larger context, the extent that some AI tools have the potential to break the chain of research and how they then put things back together will be important to their adoption and people’s understanding of their trustworthiness. Failure to embed provenance and connecting future claims to their source could risk undermining the integrity of the scholarly record and even diminish the author’s motivation to share their results..
Let’s start with some definitions that are the most relevant to this discussion:
Attribution – action of ascribing a work or remark to a particular author, artist, or person
Reference – 1) provide (a book or article) with citations of sources of information or 2) mention or refer to
Quotation – the act of repeating a passage, phrase, or short piece of writing taken from a book, play, speech, or similar source, and repeated because it is interesting, useful, or serves as an authority.
Citation – a quotation from or reference to a book, paper, or author, especially in a scholarly work. Or (in Law) a reference to a former tried case, used as guidance in the trying of comparable cases or in support of an argument.
Provenance – 1) The fact of coming from some particular source or quarter; origin, derivation. 2) The history or pedigree of an item (such as a work of art, manuscript, or rare book)
Source – 3) a firsthand document or primary reference work
Many often use these terms interchangeably in day-to-day usage, but the distinctions are very important, particularly in scholarly communications. In recent years, the imprecise application of these specifics has led some into career challenges for some administrators and even occasionally gaming of the system for career advantage driven by less-than scholarly motives. We should carefully apply this same rigor to how we consider what AI systems are doing, how they function, and how we use their outputs. The historical record and the scholarly record are filled of primary source materials. These are the original ideas, papers, books, letters or other materials that convey ideas. An expanding list of AI tools are including links back to materials that were used in developing a response to a prompt. However, how these systems derive those links differ quite considerably. Whether and how these terms and their meanings are used is critical to how we determine how much we have trust in their outputs, as well as downstream implications on things like assessment, usage and value tracking.
As noted above, I attributed a quote to Sir Isaac Newton. I did this in the first sentence, without noting where specifically Newton made this comment, and based on the first paragraph, you couldn’t go back and check that he did, in fact, make that statement. First, what I wrote above is not an actual quote; it is a paraphrase of what he wrote. Specifically, Newton made this remark in a letter to a scientific rival, Robert Hooke in 1675. In that letter, Sir Isaac Newton wrote;
“What Des-Cartes did was a good step. You have added much several ways, & especially in taking ye colours of thin plates into philosophical consideration. If I have seen further it is by standing on ye shoulders of Giants.”
While this is a reference, in the broader sense of referring to the letter in which the quote comes from, it isn’t sufficient to find the source material. I might link to many of the places on the internet where this full quote resides, such as on Wikipedia, which for most people would be sufficient. This isn’t, however, what the scientific literature requires for an actual reference, in the sense of a formal link back to source material. For example, the above quote should be noted formally as:
Turnbull, H. W. ed., 1959. The Correspondence of Isaac Newton: 1661–1675, Volume 1, London, UK: Published for the Royal Society at the University Press. p. 416.
Although many attribute the quote to him, Newton wasn’t the first to use the phrase. Several variations date back to the 12th century. Whether we are seeking the original source of the text, the implications of its use, or some other purpose would depend on why we are referencing Newton’s use. The appropriateness of the citation is dependent on the use case. The use case of a quotation and how long it is are also important considerations in whether the reproduction is fair use or not. This is a legal distinction, which has other implications about how much can be copied.
At this point, one might think the post has become rather pedantic and just a lesson in scholarly publishing 101. To a certain extent, you might be right. Beyond the fact that we should always reinforce basic knowledge, it is vitally important to refresh this understanding as we consider what AI systems are doing and what the implications of the differences might be. This foundation is an important place to start, particularly as these tools start to gain significant traction in the scholarly world. Fundamentally, what generative AI systems are doing when they reference the literature is quite different from what humans do as we reflect on our knowledge or research. How the system’s usage of content reflects the contributions of the authors are both vital to the value that can be derived from these tools.
Let’s start with where this process might go wrong. One might write a paragraph about the protective effects of some vitamins to prevent a child from contracting measles (NOTE: Vitamins do NOT prevent measles!). Wanting to make oneself sound scientific or to attempt to make your claim appear more rigorous, they might then search the internet for some justification for their claim, and in that process they may or may not read the linked paper. They can then insert the source into their invented story and claim it to be scientific and supported by other research. As Maryam Zaringhalam, Senior Director of Policy, Center for Open Science, commented during a recent event, there is enough open content that looks scientific enough that will confirm whatever priors one might have.
Those who work in research would of course recognize this as being backwards to how real research is done. Unfortunately, it is not dissimilar to how some AI tools function (though certainly not all). A statement is made in a generative system and then citations are layered over the results after generation. This is not the same as how AI hallucinations happen, but there is often a lack of rigor in the processes of generating content.
One should be careful not to paint all AI tools as having this problem. For tools that are relying on specific materials, say for summarization or analysis across a constrained, selected materials, in a RAG model, for example, a user might have a more deterministic connection to source materials and therefore linking back to source content is not as difficult. Also, tools are rapidly developing, and many approaches to source linking are being explored, so this issue could be resolved for some — although not all — tools in time.
The foundational large language model (LLM) absorbs as much content and language as it can find to build a model for comprehending human communication, drawing out meaning from the connections between words and concepts. In that process, it absorbs and stores information, and it can regurgitate that in responses. Similarly, most people can connect Albert Einstein with the formula E=mc2. Few can explain what that formula represents and means. Fewer can reference the original paper that proposed the concept in 1905: “Ist die Trägheit eines Körpers von seinem Energieinhalt abhängig?” [Does the Inertia of a Body Depend Upon its Energy-Content?] in the publication Annalen der Physik on pages 639–641. Those who are familiar with the publication will recognize, however, that the formula itself wasn’t put forward in that publication, even though it is regularly referenced as its source. Like most humans, an LLM can confidently report that Einstein and the formula are connected, but without any definitive reference to the source.
If a human were able to read every article published in a field, instantly recall each item and link back to the source she read, that might be a perfect citation machine, combining human comprehension and automated recall. That is not, however, what machines do. AI tools do not “understand” what they are reading, in the way humans do — or insofar as we understand how human cognition works. What we do know is that human brains are not computing vector weights and comparing the statistical differentials between those weights in n-dimensional space. This is what machines are doing at scale, when they “read” content and attribute it to a source.
The connection can be done through different architectures, but it has a profound impact on the provenance, the resulting reference, and its connection back to the source. The expectations researchers, scholars and science-grounded users of AI tools have for how these systems incorporate these concepts will have profound implications for our community as a whole. Recognition for a person’s ideas is the most common form of compensation that authors of research receive for sharing their outputs. Without direct attribution, those authors lose the incentives to write. Usage has also been fundamental to value assessments of content subscription costs and the return on investment calculations related to open distribution for the past three decades. Citation collection and analysis have been a foundational part of research assessment — even despite its flaws — since the 1960s.
Building verifiability and source documentation into generative AI systems is essential to creating trust in these systems. For research, engineering, and clinical applications, verifiability and deterministic responses are requisite. If generative AI systems cannot accurately track back the source of claims in their outputs, giving attribution, credit, and usage reporting back, they will break the value chains and trust that underpins the scholarly communication ecosystem.
In the next post in this series, the co-organizers and I will describe a meeting hosted by Cambridge University Press and Assessment, COUNTER, and NISO last month, where these interconnected topics were discussed, along with the vital questions of tracking usage and assessment of content that is a source of generative AI systems. I’ll then focus specifically on potential work to help address the provenance and attribution problems.
Todd A CarpenterTodd Carpenter is Executive Director of the National Information Standards Organization (NISO). He additionally serves in a number of leadership roles of a variety of organizations, including as Chair of the ISO Technical Subcommittee on Identification & Description (ISO TC46/SC9), founding partner of the Coalition for Seamless Access, Past President of FORCE11, Treasurer of the Book Industry Study Group (BISG), and a Director of the Foundation of the Baltimore County Public Library. He also previously served as Treasurer of SSP.
