Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2025/05/08/guest-post-eight-hypotheses-why-librarians-dont-like-retrieval-augmented-generation-rag/?informz=1&nbd=567d61ec-36ea-4197-85eb-43e2bd36d175&nbd_source=informz
Artículo invitado: Ocho hipótesis por las que a los bibliotecarios no les gusta la Generación Aumentada de Recuperación (RAG)
Por Frauke Birkhoff
8 de mayo de 2025
Nota del editor: El artículo de hoy está escrito por Frauke Birkhoff. Frauke es bibliotecaria temática en la Biblioteca Universitaria y Estatal de Düsseldorf, Alemania, y trabaja en los servicios de búsqueda de información de la biblioteca. El artículo refleja su experiencia personal y sus opiniones.
Hace doce años, la bibliotecaria alemana Anne Christensen presentó ocho hipótesis por las que a los bibliotecarios no les gustan las capas de descubrimiento. Hoy en día, se está produciendo otro cambio de paradigma en la búsqueda, y podemos y debemos aprender de nuestros debates anteriores sobre la evolución de la tecnología de búsqueda. Las bibliotecas tienen una larga historia de tener que reimaginarse a sí mismas y a sus servicios frente a los avances tecnológicos. Con la llegada de la búsqueda por inteligencia artificial (IA) y el uso de la generación de recuperación aumentada (RAG) en la mayoría de los motores de búsqueda disponibles comercialmente en este momento, debemos iniciar la conversación sobre cómo estas herramientas pueden y deben utilizarse en las interfaces de búsqueda de las bibliotecas. Un enfoque holístico de este proceso también incluye debatir por qué podríamos sentir cierta incomodidad con su introducción.
A partir de 2022, con el lanzamiento de ChatGPT y otras herramientas de IA que rápidamente incorporaron la RAG a su pila tecnológica, el comportamiento de búsqueda de los usuarios ha experimentado un rápido cambio. Poder formular una consulta de búsqueda en lenguaje natural y obtener a cambio una respuesta que parezca definitiva con las citas correspondientes parece confirmar lo que décadas de estudios sobre el comportamiento de búsqueda de los usuarios han constatado: Los usuarios dan prioridad a las respuestas rápidas y cómodas, idealmente fiables pero, en caso necesario, simplemente de apoyo a sus argumentos. Las barreras de acceso, como los muros de pago, siguen siendo una gran frustración.
También han aparecido herramientas ajenas al mundo de las bibliotecas, como perplexity.ai, Elicit y muchas otras, que amenazan de nuevo con hacer que las interfaces de búsqueda de las bibliotecas sean menos relevantes para nuestros usuarios. Y luego están las soluciones comerciales ofrecidas por los proveedores de bibliotecas, como Primo Research Assistant, que prometen a las bibliotecas la capacidad de evolucionar sus capas de descubrimiento existentes para satisfacer la demanda de los usuarios. Está claro que la respuesta para hacer más atractiva la búsqueda en 2025 parece estar en combinar algoritmos de recuperación de información con un gran modelo lingüístico (LLM) y una base de datos externa. Este enfoque promete menos alucinaciones que la consulta de un chatbot que no sea de RAG; sin embargo, dista mucho de estar libre de problemas de garantía de calidad o de sesgo, como ha demostrado una reciente evaluación de la IA de Scopus.
Hay motivos para creer que, en los próximos años, las capas de descubrimiento tal y como las conocemos podrían verse desplazadas por interfaces de búsqueda basadas en RAG. Los bibliotecarios que actualmente trabajan con capas de descubrimiento deberían familiarizarse con estas herramientas y preguntarse a sí mismos y a sus instituciones cómo deberían implementarlas para sus comunidades, ya sea utilizando una herramienta disponible comercialmente o invirtiendo en el desarrollo de una versión de código abierto. Sin embargo, para el éxito de estos esfuerzos es crucial la aceptación de los bibliotecarios que implementan, mantienen y utilizan estas herramientas.
Echemos un vistazo a la percepción de las herramientas de búsqueda por parte de los bibliotecarios, tal y como la describió Christensen en 2013, y veamos qué podemos aprender del pasado y las lecciones para los bibliotecarios a medida que la búsqueda basada en IA pasa a un primer plano.
1. Es demasiado trabajo.
En su forma actual, Discovery sigue dando mucho trabajo, sobre todo en lo que se refiere al mantenimiento y a garantizar que la entrega funcione. Si bien los resolvedores de enlaces de nueva generación facilitan en cierta medida el acceso de los usuarios al texto completo, los ecosistemas de las bibliotecas todavía no han cambiado tanto y se dedica una cantidad considerable de tiempo y trabajo a mantener y solucionar los problemas de acceso.
¿Qué ocurre con los asistentes de búsqueda inteligentes? Los proveedores de bibliotecas los comercializan como una solución «plug and play», similar a los sistemas de localización. Sin embargo, el aspecto de la entrega, es decir, el enlace al artículo de texto completo al que se hace referencia en la respuesta generada, es tan complejo como lo ha sido en el pasado. Y aparecen nuevos problemas. Los proveedores de contenidos están empezando a aislar sus colecciones para impedir que otras herramientas basadas en RAG accedan a sus contenidos.
Un ejemplo: en el caso de Primo Research Assistant, las colecciones de APA (y otras como Elsevier y JSTOR) están excluidas de la generación de resultados. Esto tendría que explicarse a los estudiantes y profesores que utilicen la herramienta, lo que aumenta considerablemente el tiempo y la energía dedicados a la comunicación necesaria para que estas herramientas merezcan la pena por su coste de licencia. Es razonable suponer que casi todos los proveedores de contenidos invertirán en sus propios asistentes de IA o llegarán a acuerdos de licencia con los existentes. ¿Cuántos de ellos podemos y debemos licenciar y mantener? Los bibliotecarios que trabajan en capas de descubrimiento deben empezar a hacer planes ahora para identificar las herramientas que mejor sirven a su comunidad y cómo deben cambiar sus flujos de trabajo.
2. En primer lugar, no fueron idea nuestra.
RAG fue desarrollado por investigadores del equipo de Investigación de Inteligencia Artificial de Facebook y otros científicos. Las capas de descubrimiento se inspiraron en la búsqueda web y nos las vendieron por primera vez los proveedores de bibliotecas, aunque la comunidad se animó rápidamente y desarrolló magníficas soluciones de código abierto como VuFind y K10plus-Zentral.
Los responsables de las bibliotecas deberían empezar a trabajar en la identificación de estrategias para educar a sus empleados en IA y RAG ahora mismo, si no lo han hecho ya, asegurándose de que estos esfuerzos se centran en capacitar a los bibliotecarios para comprender, evaluar y enseñar herramientas de búsqueda de IA con todos sus pros y contras. Esto significa que no podemos confiar únicamente en la educación por parte de los proveedores de bibliotecas. Ningún asistente de IA disponible en el mercado debería autorizarse sin la participación de los bibliotecarios necesarios para su mantenimiento y de aquellos que enseñan a los estudiantes a utilizarlo.
3. y 4. A nuestros metadatos les ocurren cosas extrañas y comunicarlas es difícil.
La transparencia es un valor fundamental al que se adhieren muchos bibliotecarios. Muchos de nosotros también estamos a favor de la explicabilidad, especialmente cuando se trata de los sistemas que se supone que debemos solucionar para nuestros usuarios. Cuando se introdujeron los niveles de descubrimiento, muchos bibliotecarios se opusieron al hecho de que los algoritmos de clasificación por relevancia hicieran más difícil explicar a los usuarios cómo se clasificaban y presentaban los resultados de la búsqueda.
Por ahora, la búsqueda asistida por IA rara vez es transparente o fácil de explicar. Lo que necesitamos, por tanto, es el valor y las habilidades necesarias para participar en el desarrollo de herramientas que intenten resolver estos problemas. Sin embargo, Christensen identificó aquí un problema importante que aún no se ha resuelto: Los bibliotecarios y los informáticos tienen dificultades para comunicarse sobre las herramientas bibliotecarias. Estas barreras no pueden superarse mediante la integración de cursos de TI en los programas de grado o posgrado de bibliotecarios, ya que el tiempo es demasiado corto para convertirnos en expertos durante el tiempo que se tarda en completar el grado medio de MLIS. Por otra parte, la contratación de expertos en TI en las bibliotecas es casi imposible aquí en Alemania y en otros lugares de Europa o EE.UU., debido a la escasa remuneración. Las universidades alemanas ofrecen dos titulaciones de postgrado en Bibliotheksinformatik que, por lo general, se centran en combinar amplios cursos de informática con cursos de biblioteconomía. Aunque es demasiado pronto para saber si estas titulaciones pueden tener un impacto duradero en nuestro problema de comunicación, son una posible solución.
5. Alteran el concepto de catálogo.
El concepto de catálogo se va al garete cuando se implanta la búsqueda por IA, ya que se centra en ofrecer respuestas a los usuarios, no una visión general de las existencias. La mayoría de las bibliotecas revisaron por completo su interfaz de búsqueda cuando implementaron una capa de descubrimiento e integraron tanto las colecciones de la biblioteca como el índice de descubrimiento en un único sistema. ¿Debería argumentarse entonces que, con el cambio en el comportamiento de búsqueda, deberíamos adoptar plenamente la RAG y dejar de lado el concepto de una herramienta que detalla la totalidad de la colección de una biblioteca?
No, no es así. La entrega y el acceso a la información de la que se nutren las herramientas de búsqueda basadas en la RAG aún no están resueltos y no lo estarán pronto. Los problemas de calidad y los sesgos, así como los problemas de alucinaciones, no están resueltos del todo. Seguimos necesitando herramientas que nos den una visión completa de los fondos de una biblioteca y deben ser de acceso público. Nuestro trabajo consiste en asegurarnos de que el actual revuelo en torno a la búsqueda por IA no nos lleve a abandonar soluciones probadas y auténticas para nuestros usuarios. Ambas herramientas tienen su utilidad. De nosotros depende identificarlos y aplicar el enfoque adecuado para cada uno.
6. y 7. Son difíciles de utilizar en las entrevistas de referencia y hacen que los usuarios sean tontos y perezosos.
Las entrevistas de referencia, tal y como las conocíamos, apenas serán relevantes en 2025. Sin embargo, no debemos subestimar un gran inconveniente de los asistentes de búsqueda de IA: El dilema de la respuesta directa. Descrito por primera vez por Potthast et al. en 2020, se describe como «la elección del usuario entre comodidad y diligencia al utilizar un sistema de recuperación de información».
Los asistentes de búsqueda de IA fuerzan esta disyuntiva en sus usuarios por defecto: ¿Debe un usuario aceptar la respuesta generada y seguir adelante rápidamente, partiendo del supuesto de que es correcta, o debe invertir una cantidad considerable de tiempo y esfuerzo en asegurarse de que la respuesta que ha generado la herramienta es correcta? Con lo acelerado que es el mundo académico y lo cómodas que resultan estas herramientas, tenemos que preguntarnos por el impacto que tienen las herramientas que ofrecemos en la calidad de la investigación.
Además, la mayoría de los asistentes de inteligencia artificial nos dan poca información sobre cómo se eligen los documentos para generar la respuesta a una consulta de búsqueda o cómo se genera la respuesta. Los bibliotecarios debemos asegurarnos de que los usuarios de nuestros sistemas tengan claro este dilema. Deberíamos utilizar nuestros esfuerzos de alfabetización informacional para presentar este dilema a estudiantes y profesores y trabajar en el desarrollo de estrategias de mitigación. Pero debemos ser muy claros sobre la eficacia de estas intervenciones. Estas herramientas son a la vez inherentemente cómodas y propensas al fracaso, lo que no es óptimo en la investigación académica. Necesitamos un debate a fondo en el mundo académico sobre cómo mitigar estos inconvenientes.
8. Nos cuestan nuestros puestos de trabajo.
Aunque dudo que la búsqueda por IA vaya a costar el puesto de trabajo a los bibliotecarios ahora mismo, se vislumbra un menor número de puestos de trabajo disponibles en las bibliotecas. O, en un tono más positivo, tal vez no estemos haciendo las preguntas correctas. ¿Qué habilidades laborales se necesitan para proporcionar herramientas de búsqueda de IA de alta calidad y aprobadas por los bibliotecarios? ¿Cómo será en el futuro la jornada laboral de un bibliotecario de sistemas o un bibliotecario temático que desarrolle o utilice herramientas de búsqueda de IA?
Christensen tenía razón cuando escribió que necesitábamos hablar más sobre la incomodidad de los bibliotecarios con las capas de descubrimiento para que tuvieran éxito. Deberíamos empezar a hablar de ello cuando se trata de la búsqueda de IA ahora, incluso antes de que muchas bibliotecas hayan implementado realmente estas herramientas. Podríamos empezar desarrollando directrices y listas de comprobación que ayuden a las bibliotecas a decidir si deben invertir en una herramienta disponible comercialmente. Deberíamos coordinar el desarrollo de una versión de código abierto de la interfaz de búsqueda de IA para bibliotecas. Y por último, pero no por ello menos importante, deberíamos dotar a los bibliotecarios docentes de las herramientas necesarias para trasladar a estudiantes y profesores las ventajas e inconvenientes de estas herramientas.
//////////////////////////////
Guest Post: Eight Hypotheses Why Librarians Don’t Like Retrieval Augmented Generation (RAG)
May 8, 2025
Editor’s Note: Today’s post is by Frauke Birkhoff. Frauke is a subject librarian at University and State Library in Düsseldorf, Germany, working on the library’s information discovery services. The article reflects her personal experience and opinions.
Twelve years ago, German librarian Anne Christensen presented eight hypotheses why librarians don’t like discovery layers. Today, another paradigm shift in search is happening, and we can and should learn from our previous discussions about the evolution of search technology. Libraries have a long history of having to reimagine themselves and their services in the face of technological advancement. With the advent of artificial intelligence (AI) search and the use of retrieval-augmented generation (RAG) in most commercially available search engines right now, we must start the conversation on how these tools can and should be used in library search interfaces. A holistic approach to this process also includes discussing why we might feel some discomfort with their introduction.
Starting in 2022 with the release of ChatGPT and other AI tools that quickly added RAG to their tech stack, user search behavior has undergone a rapid shift. Being able to state a search query in natural language and get in return a definitive-seeming answer with the citations to match seems to be confirmation of what decades of user studies in search behavior have found: Users prioritize quick, convenient answers, ideally reliable but, if necessary, merely supportive of their argument. Access barriers, such as paywalls, remain a major frustration.
In came tools from outside library-land such as perplexity.ai, Elicit and many others that threaten to yet again make library search interfaces less relevant for our users. And then there are the commercial solutions offered by library vendors such as Primo Research Assistant that promise libraries the ability to evolve their existing discovery layers to satisfy user demand. Clearly, the answer to making search more attractive in 2025 seems to lie in combining information retrieval algorithms with a large language model (LLM) and an outside database. This approach promises fewer hallucinations than querying a non-RAG-chatbot, however, it is still far from free of quality assurance or bias issues, as a recent evaluation of Scopus AI has demonstrated.
There is reason to believe that in the next few years, discovery layers as we know them could be displaced by RAG-based search interfaces. Librarians currently working on discovery layers should get acquainted with these tools and ask themselves and their institutions how they should implement them for their communities, be it by using a commercially available tool or by investing in the development of an open-source version. Crucial to the success of these efforts, however, is the acceptance of the librarians implementing, maintaining and using these tools.
Let’s look at the perception of discovery tools by librarians, as described by Christensen in 2013, and see what we can learn from the past and the lessons for librarians as AI-enabled search comes to the fore.
1. They are too much work.
Discovery in its current form is still a lot of work, especially when it comes to maintenance and making sure that the delivery side works. While next-gen link resolvers make it somewhat easier to provide full-text access to users, library ecosystems still haven’t changed that much and a considerable amount of time and work goes into maintaining and fixing access issues.
What about AI search assistants? Library vendors market them as a plug-and-play solution, similarly to discovery systems. However, the delivery-side of things, i.e., the link to the full-text article referenced in the generated answer, is just as complex as it has been in the past. And new issues appear. Content providers are starting to silo their collections in order to restrict other RAG-based tools from accessing their content.
An example: in the case of Primo Research Assistant, collections from APA (and others such as Elsevier and JSTOR) are excluded from result generation. This would need to be explained to students and faculty using the tool, which adds considerably to the time and energy put into the communication needed to make these tools worth their licensing cost. It can reasonably be assumed that almost all content providers are going to invest in their own AI assistants or make licensing deals with existing ones. How many of these can and should we license and maintain? Librarians working on discovery layers should start making plans now for identifying the tools that best serve their community and how their workflows need to change.
2. They were not our idea in the first place.
RAG was developed by researchers of the Facebook AI Research team and other scientists. Discovery layers were inspired by web search and first sold to us by library vendors, although the community quickly came around and developed great open-source solutions like VuFind and K10plus-Zentral.
Library leaders should start working on identifying strategies to educate their employees on AI and RAG right now, if they haven’t already, making sure that these efforts are focused on enabling librarians to understand, evaluate and teach AI search tools with all their pros and cons. This means we can’t solely rely on education by library vendors. No commercially available AI assistant should be licensed without buy-in from the librarians needed to maintain it and those who teach students how to use it.
3. and 4. Strange things happen to our metadata and communicating these strange happenings is hard.
Transparency is a core value that many librarians subscribe to. Many of us also favor explainability, especially when it comes to the systems we are supposed to troubleshoot for our users. When discovery layers were introduced, many librarians took issue with the fact that relevance-ranking-algorithms made it harder to explain to users how search results are ranked and presented.
AI-assisted search is, as of now, rarely transparent or easily explainable. What we need, then, is the courage and skillset to play a part in the development of tools that try and solve these issues. Yet, Christensen identified a major issue here that has not been resolved yet: Librarians and IT people have a hard time communicating about library tools. These barriers cannot be overcome by integrating IT courses into librarian undergraduate or graduate programs, since time is simply too short to make experts out of us during the time it takes to complete the average MLIS degree. On the other hand, recruiting IT experts into libraries is nigh impossible here in Germany and elsewhere in Europe or the US, due to very limited pay. German universities offer two graduate degrees in Bibliotheksinformatik which generally put their focus on combining extensive computer science courses with library science coursework. While it’s too early to tell if these degrees may have a lasting impact on our communication issue, they are one possible solution.
5. They mess with the concept of the catalog.
The concept of the catalog goes out the window when implementing AI search, since it focuses on providing users with answers, not holdings overviews. Most libraries completely overhauled their search interface when they implemented a discovery layer and integrated both library collections and the discovery index into one system. Should the argument be made then that, with the change in search behavior, we should fully embrace RAG and let go of the concept of a tool that details the whole of a library’s collection?
No, we shouldn’t. Delivery and access to the information that RAG-based search tools pull upon are still not resolved and won’t be resolved anytime soon. Quality issues and bias, as well as issues with hallucinations are not resolved entirely. We still need tools that give us a complete overview of a library’s holdings and they should be made publicly accessible. It is our job to make sure that the current hype around AI search does not lead to us abandoning tried and true solutions for our users. Both tools have their use cases. It is on us to identify them and implement the right approach for each.
6. and 7. They are hard to use in reference interviews and they make users dumb and lazy.
Reference interviews as we knew them are hardly relevant in 2025. However, we should not underestimate one major drawback of AI search assistants: The dilemma of the direct answer. First described by Potthast et al. in 2020, it is described as “a user’s choice between convenience and diligence when using an information retrieval system.”
AI search assistants force this trade-off onto their users by default: Should a user accept the answer generated and quickly move on, working from the assumption that it is correct, or should that user invest considerable amounts of time and effort into making sure that the answer the tool has generated is correct? With how fast-paced academia is and how convenient these tools feel, we need to ask about the impact the tools we offer have on research quality.
Also, most AI assistants give us little insight into how documents are chosen to generate the answer to a search query or how the answer is generated. We as librarians should make sure that this trade-off is something we make clear to the users of our systems. We should use our information literacy efforts to present students and faculty with this dilemma and work on developing mitigation strategies. But we should be clear-eyed about the efficacy of these interventions. These tools are both inherently convenient and failure-prone, which is not optimal in academic research. We need a thorough discussion in academia on how to mitigate these drawbacks.
8. They cost us our jobs.
While I doubt that AI search will cost librarians their jobs right now, fewer available jobs in libraries are on the horizon. Or, on a more positive note, maybe we aren’t asking the right questions. What job skills are needed to provide high-quality, librarian-approved AI search tools? What does the future workday of a systems librarian or a subject librarian look like when she is developing or using AI search tools?
Christensen was right when she wrote that we needed to talk more about the discomfort of librarians with discovery layers in order to make them successful. We should start talking about it when it comes to AI search now, even before many libraries have actually implemented these tools. We could start by developing guidelines and checklists that help libraries decide if they should invest in a commercially available tool. We should coordinate the development of an open-source version AI search interface for libraries. And last but not least, we should equip teaching librarians with the tools to translate the benefits and drawbacks of these tools to students and faculty.
