¿Están los chatbots de IA reemplazando a los motores de búsqueda?






Noticias sobre publicación, comunicación, evaluación y política científica y tecnológica
¿Están los chatbots de IA reemplazando a los motores de búsqueda?
Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2025/05/08/guest-post-eight-hypotheses-why-librarians-dont-like-retrieval-augmented-generation-rag/?informz=1&nbd=567d61ec-36ea-4197-85eb-43e2bd36d175&nbd_source=informz
Artículo invitado: Ocho hipótesis por las que a los bibliotecarios no les gusta la Generación Aumentada de Recuperación (RAG)
Por Frauke Birkhoff
8 de mayo de 2025
Nota del editor: El artículo de hoy está escrito por Frauke Birkhoff. Frauke es bibliotecaria temática en la Biblioteca Universitaria y Estatal de Düsseldorf, Alemania, y trabaja en los servicios de búsqueda de información de la biblioteca. El artículo refleja su experiencia personal y sus opiniones.
Hace doce años, la bibliotecaria alemana Anne Christensen presentó ocho hipótesis por las que a los bibliotecarios no les gustan las capas de descubrimiento. Hoy en día, se está produciendo otro cambio de paradigma en la búsqueda, y podemos y debemos aprender de nuestros debates anteriores sobre la evolución de la tecnología de búsqueda. Las bibliotecas tienen una larga historia de tener que reimaginarse a sí mismas y a sus servicios frente a los avances tecnológicos. Con la llegada de la búsqueda por inteligencia artificial (IA) y el uso de la generación de recuperación aumentada (RAG) en la mayoría de los motores de búsqueda disponibles comercialmente en este momento, debemos iniciar la conversación sobre cómo estas herramientas pueden y deben utilizarse en las interfaces de búsqueda de las bibliotecas. Un enfoque holístico de este proceso también incluye debatir por qué podríamos sentir cierta incomodidad con su introducción.
A partir de 2022, con el lanzamiento de ChatGPT y otras herramientas de IA que rápidamente incorporaron la RAG a su pila tecnológica, el comportamiento de búsqueda de los usuarios ha experimentado un rápido cambio. Poder formular una consulta de búsqueda en lenguaje natural y obtener a cambio una respuesta que parezca definitiva con las citas correspondientes parece confirmar lo que décadas de estudios sobre el comportamiento de búsqueda de los usuarios han constatado: Los usuarios dan prioridad a las respuestas rápidas y cómodas, idealmente fiables pero, en caso necesario, simplemente de apoyo a sus argumentos. Las barreras de acceso, como los muros de pago, siguen siendo una gran frustración.
También han aparecido herramientas ajenas al mundo de las bibliotecas, como perplexity.ai, Elicit y muchas otras, que amenazan de nuevo con hacer que las interfaces de búsqueda de las bibliotecas sean menos relevantes para nuestros usuarios. Y luego están las soluciones comerciales ofrecidas por los proveedores de bibliotecas, como Primo Research Assistant, que prometen a las bibliotecas la capacidad de evolucionar sus capas de descubrimiento existentes para satisfacer la demanda de los usuarios. Está claro que la respuesta para hacer más atractiva la búsqueda en 2025 parece estar en combinar algoritmos de recuperación de información con un gran modelo lingüístico (LLM) y una base de datos externa. Este enfoque promete menos alucinaciones que la consulta de un chatbot que no sea de RAG; sin embargo, dista mucho de estar libre de problemas de garantía de calidad o de sesgo, como ha demostrado una reciente evaluación de la IA de Scopus.
Hay motivos para creer que, en los próximos años, las capas de descubrimiento tal y como las conocemos podrían verse desplazadas por interfaces de búsqueda basadas en RAG. Los bibliotecarios que actualmente trabajan con capas de descubrimiento deberían familiarizarse con estas herramientas y preguntarse a sí mismos y a sus instituciones cómo deberían implementarlas para sus comunidades, ya sea utilizando una herramienta disponible comercialmente o invirtiendo en el desarrollo de una versión de código abierto. Sin embargo, para el éxito de estos esfuerzos es crucial la aceptación de los bibliotecarios que implementan, mantienen y utilizan estas herramientas.
Echemos un vistazo a la percepción de las herramientas de búsqueda por parte de los bibliotecarios, tal y como la describió Christensen en 2013, y veamos qué podemos aprender del pasado y las lecciones para los bibliotecarios a medida que la búsqueda basada en IA pasa a un primer plano.
1. Es demasiado trabajo.
En su forma actual, Discovery sigue dando mucho trabajo, sobre todo en lo que se refiere al mantenimiento y a garantizar que la entrega funcione. Si bien los resolvedores de enlaces de nueva generación facilitan en cierta medida el acceso de los usuarios al texto completo, los ecosistemas de las bibliotecas todavía no han cambiado tanto y se dedica una cantidad considerable de tiempo y trabajo a mantener y solucionar los problemas de acceso.
¿Qué ocurre con los asistentes de búsqueda inteligentes? Los proveedores de bibliotecas los comercializan como una solución «plug and play», similar a los sistemas de localización. Sin embargo, el aspecto de la entrega, es decir, el enlace al artículo de texto completo al que se hace referencia en la respuesta generada, es tan complejo como lo ha sido en el pasado. Y aparecen nuevos problemas. Los proveedores de contenidos están empezando a aislar sus colecciones para impedir que otras herramientas basadas en RAG accedan a sus contenidos.
Un ejemplo: en el caso de Primo Research Assistant, las colecciones de APA (y otras como Elsevier y JSTOR) están excluidas de la generación de resultados. Esto tendría que explicarse a los estudiantes y profesores que utilicen la herramienta, lo que aumenta considerablemente el tiempo y la energía dedicados a la comunicación necesaria para que estas herramientas merezcan la pena por su coste de licencia. Es razonable suponer que casi todos los proveedores de contenidos invertirán en sus propios asistentes de IA o llegarán a acuerdos de licencia con los existentes. ¿Cuántos de ellos podemos y debemos licenciar y mantener? Los bibliotecarios que trabajan en capas de descubrimiento deben empezar a hacer planes ahora para identificar las herramientas que mejor sirven a su comunidad y cómo deben cambiar sus flujos de trabajo.
2. En primer lugar, no fueron idea nuestra.
RAG fue desarrollado por investigadores del equipo de Investigación de Inteligencia Artificial de Facebook y otros científicos. Las capas de descubrimiento se inspiraron en la búsqueda web y nos las vendieron por primera vez los proveedores de bibliotecas, aunque la comunidad se animó rápidamente y desarrolló magníficas soluciones de código abierto como VuFind y K10plus-Zentral.
Los responsables de las bibliotecas deberían empezar a trabajar en la identificación de estrategias para educar a sus empleados en IA y RAG ahora mismo, si no lo han hecho ya, asegurándose de que estos esfuerzos se centran en capacitar a los bibliotecarios para comprender, evaluar y enseñar herramientas de búsqueda de IA con todos sus pros y contras. Esto significa que no podemos confiar únicamente en la educación por parte de los proveedores de bibliotecas. Ningún asistente de IA disponible en el mercado debería autorizarse sin la participación de los bibliotecarios necesarios para su mantenimiento y de aquellos que enseñan a los estudiantes a utilizarlo.
3. y 4. A nuestros metadatos les ocurren cosas extrañas y comunicarlas es difícil.
La transparencia es un valor fundamental al que se adhieren muchos bibliotecarios. Muchos de nosotros también estamos a favor de la explicabilidad, especialmente cuando se trata de los sistemas que se supone que debemos solucionar para nuestros usuarios. Cuando se introdujeron los niveles de descubrimiento, muchos bibliotecarios se opusieron al hecho de que los algoritmos de clasificación por relevancia hicieran más difícil explicar a los usuarios cómo se clasificaban y presentaban los resultados de la búsqueda.
Por ahora, la búsqueda asistida por IA rara vez es transparente o fácil de explicar. Lo que necesitamos, por tanto, es el valor y las habilidades necesarias para participar en el desarrollo de herramientas que intenten resolver estos problemas. Sin embargo, Christensen identificó aquí un problema importante que aún no se ha resuelto: Los bibliotecarios y los informáticos tienen dificultades para comunicarse sobre las herramientas bibliotecarias. Estas barreras no pueden superarse mediante la integración de cursos de TI en los programas de grado o posgrado de bibliotecarios, ya que el tiempo es demasiado corto para convertirnos en expertos durante el tiempo que se tarda en completar el grado medio de MLIS. Por otra parte, la contratación de expertos en TI en las bibliotecas es casi imposible aquí en Alemania y en otros lugares de Europa o EE.UU., debido a la escasa remuneración. Las universidades alemanas ofrecen dos titulaciones de postgrado en Bibliotheksinformatik que, por lo general, se centran en combinar amplios cursos de informática con cursos de biblioteconomía. Aunque es demasiado pronto para saber si estas titulaciones pueden tener un impacto duradero en nuestro problema de comunicación, son una posible solución.
5. Alteran el concepto de catálogo.
El concepto de catálogo se va al garete cuando se implanta la búsqueda por IA, ya que se centra en ofrecer respuestas a los usuarios, no una visión general de las existencias. La mayoría de las bibliotecas revisaron por completo su interfaz de búsqueda cuando implementaron una capa de descubrimiento e integraron tanto las colecciones de la biblioteca como el índice de descubrimiento en un único sistema. ¿Debería argumentarse entonces que, con el cambio en el comportamiento de búsqueda, deberíamos adoptar plenamente la RAG y dejar de lado el concepto de una herramienta que detalla la totalidad de la colección de una biblioteca?
No, no es así. La entrega y el acceso a la información de la que se nutren las herramientas de búsqueda basadas en la RAG aún no están resueltos y no lo estarán pronto. Los problemas de calidad y los sesgos, así como los problemas de alucinaciones, no están resueltos del todo. Seguimos necesitando herramientas que nos den una visión completa de los fondos de una biblioteca y deben ser de acceso público. Nuestro trabajo consiste en asegurarnos de que el actual revuelo en torno a la búsqueda por IA no nos lleve a abandonar soluciones probadas y auténticas para nuestros usuarios. Ambas herramientas tienen su utilidad. De nosotros depende identificarlos y aplicar el enfoque adecuado para cada uno.
6. y 7. Son difíciles de utilizar en las entrevistas de referencia y hacen que los usuarios sean tontos y perezosos.
Las entrevistas de referencia, tal y como las conocíamos, apenas serán relevantes en 2025. Sin embargo, no debemos subestimar un gran inconveniente de los asistentes de búsqueda de IA: El dilema de la respuesta directa. Descrito por primera vez por Potthast et al. en 2020, se describe como «la elección del usuario entre comodidad y diligencia al utilizar un sistema de recuperación de información».
Los asistentes de búsqueda de IA fuerzan esta disyuntiva en sus usuarios por defecto: ¿Debe un usuario aceptar la respuesta generada y seguir adelante rápidamente, partiendo del supuesto de que es correcta, o debe invertir una cantidad considerable de tiempo y esfuerzo en asegurarse de que la respuesta que ha generado la herramienta es correcta? Con lo acelerado que es el mundo académico y lo cómodas que resultan estas herramientas, tenemos que preguntarnos por el impacto que tienen las herramientas que ofrecemos en la calidad de la investigación.
Además, la mayoría de los asistentes de inteligencia artificial nos dan poca información sobre cómo se eligen los documentos para generar la respuesta a una consulta de búsqueda o cómo se genera la respuesta. Los bibliotecarios debemos asegurarnos de que los usuarios de nuestros sistemas tengan claro este dilema. Deberíamos utilizar nuestros esfuerzos de alfabetización informacional para presentar este dilema a estudiantes y profesores y trabajar en el desarrollo de estrategias de mitigación. Pero debemos ser muy claros sobre la eficacia de estas intervenciones. Estas herramientas son a la vez inherentemente cómodas y propensas al fracaso, lo que no es óptimo en la investigación académica. Necesitamos un debate a fondo en el mundo académico sobre cómo mitigar estos inconvenientes.
8. Nos cuestan nuestros puestos de trabajo.
Aunque dudo que la búsqueda por IA vaya a costar el puesto de trabajo a los bibliotecarios ahora mismo, se vislumbra un menor número de puestos de trabajo disponibles en las bibliotecas. O, en un tono más positivo, tal vez no estemos haciendo las preguntas correctas. ¿Qué habilidades laborales se necesitan para proporcionar herramientas de búsqueda de IA de alta calidad y aprobadas por los bibliotecarios? ¿Cómo será en el futuro la jornada laboral de un bibliotecario de sistemas o un bibliotecario temático que desarrolle o utilice herramientas de búsqueda de IA?
Christensen tenía razón cuando escribió que necesitábamos hablar más sobre la incomodidad de los bibliotecarios con las capas de descubrimiento para que tuvieran éxito. Deberíamos empezar a hablar de ello cuando se trata de la búsqueda de IA ahora, incluso antes de que muchas bibliotecas hayan implementado realmente estas herramientas. Podríamos empezar desarrollando directrices y listas de comprobación que ayuden a las bibliotecas a decidir si deben invertir en una herramienta disponible comercialmente. Deberíamos coordinar el desarrollo de una versión de código abierto de la interfaz de búsqueda de IA para bibliotecas. Y por último, pero no por ello menos importante, deberíamos dotar a los bibliotecarios docentes de las herramientas necesarias para trasladar a estudiantes y profesores las ventajas e inconvenientes de estas herramientas.
//////////////////////////////
May 8, 2025
Editor’s Note: Today’s post is by Frauke Birkhoff. Frauke is a subject librarian at University and State Library in Düsseldorf, Germany, working on the library’s information discovery services. The article reflects her personal experience and opinions.
Twelve years ago, German librarian Anne Christensen presented eight hypotheses why librarians don’t like discovery layers. Today, another paradigm shift in search is happening, and we can and should learn from our previous discussions about the evolution of search technology. Libraries have a long history of having to reimagine themselves and their services in the face of technological advancement. With the advent of artificial intelligence (AI) search and the use of retrieval-augmented generation (RAG) in most commercially available search engines right now, we must start the conversation on how these tools can and should be used in library search interfaces. A holistic approach to this process also includes discussing why we might feel some discomfort with their introduction.
Starting in 2022 with the release of ChatGPT and other AI tools that quickly added RAG to their tech stack, user search behavior has undergone a rapid shift. Being able to state a search query in natural language and get in return a definitive-seeming answer with the citations to match seems to be confirmation of what decades of user studies in search behavior have found: Users prioritize quick, convenient answers, ideally reliable but, if necessary, merely supportive of their argument. Access barriers, such as paywalls, remain a major frustration.
In came tools from outside library-land such as perplexity.ai, Elicit and many others that threaten to yet again make library search interfaces less relevant for our users. And then there are the commercial solutions offered by library vendors such as Primo Research Assistant that promise libraries the ability to evolve their existing discovery layers to satisfy user demand. Clearly, the answer to making search more attractive in 2025 seems to lie in combining information retrieval algorithms with a large language model (LLM) and an outside database. This approach promises fewer hallucinations than querying a non-RAG-chatbot, however, it is still far from free of quality assurance or bias issues, as a recent evaluation of Scopus AI has demonstrated.
There is reason to believe that in the next few years, discovery layers as we know them could be displaced by RAG-based search interfaces. Librarians currently working on discovery layers should get acquainted with these tools and ask themselves and their institutions how they should implement them for their communities, be it by using a commercially available tool or by investing in the development of an open-source version. Crucial to the success of these efforts, however, is the acceptance of the librarians implementing, maintaining and using these tools.
Let’s look at the perception of discovery tools by librarians, as described by Christensen in 2013, and see what we can learn from the past and the lessons for librarians as AI-enabled search comes to the fore.
Discovery in its current form is still a lot of work, especially when it comes to maintenance and making sure that the delivery side works. While next-gen link resolvers make it somewhat easier to provide full-text access to users, library ecosystems still haven’t changed that much and a considerable amount of time and work goes into maintaining and fixing access issues.
What about AI search assistants? Library vendors market them as a plug-and-play solution, similarly to discovery systems. However, the delivery-side of things, i.e., the link to the full-text article referenced in the generated answer, is just as complex as it has been in the past. And new issues appear. Content providers are starting to silo their collections in order to restrict other RAG-based tools from accessing their content.
An example: in the case of Primo Research Assistant, collections from APA (and others such as Elsevier and JSTOR) are excluded from result generation. This would need to be explained to students and faculty using the tool, which adds considerably to the time and energy put into the communication needed to make these tools worth their licensing cost. It can reasonably be assumed that almost all content providers are going to invest in their own AI assistants or make licensing deals with existing ones. How many of these can and should we license and maintain? Librarians working on discovery layers should start making plans now for identifying the tools that best serve their community and how their workflows need to change.
RAG was developed by researchers of the Facebook AI Research team and other scientists. Discovery layers were inspired by web search and first sold to us by library vendors, although the community quickly came around and developed great open-source solutions like VuFind and K10plus-Zentral.
Library leaders should start working on identifying strategies to educate their employees on AI and RAG right now, if they haven’t already, making sure that these efforts are focused on enabling librarians to understand, evaluate and teach AI search tools with all their pros and cons. This means we can’t solely rely on education by library vendors. No commercially available AI assistant should be licensed without buy-in from the librarians needed to maintain it and those who teach students how to use it.
Transparency is a core value that many librarians subscribe to. Many of us also favor explainability, especially when it comes to the systems we are supposed to troubleshoot for our users. When discovery layers were introduced, many librarians took issue with the fact that relevance-ranking-algorithms made it harder to explain to users how search results are ranked and presented.
AI-assisted search is, as of now, rarely transparent or easily explainable. What we need, then, is the courage and skillset to play a part in the development of tools that try and solve these issues. Yet, Christensen identified a major issue here that has not been resolved yet: Librarians and IT people have a hard time communicating about library tools. These barriers cannot be overcome by integrating IT courses into librarian undergraduate or graduate programs, since time is simply too short to make experts out of us during the time it takes to complete the average MLIS degree. On the other hand, recruiting IT experts into libraries is nigh impossible here in Germany and elsewhere in Europe or the US, due to very limited pay. German universities offer two graduate degrees in Bibliotheksinformatik which generally put their focus on combining extensive computer science courses with library science coursework. While it’s too early to tell if these degrees may have a lasting impact on our communication issue, they are one possible solution.
The concept of the catalog goes out the window when implementing AI search, since it focuses on providing users with answers, not holdings overviews. Most libraries completely overhauled their search interface when they implemented a discovery layer and integrated both library collections and the discovery index into one system. Should the argument be made then that, with the change in search behavior, we should fully embrace RAG and let go of the concept of a tool that details the whole of a library’s collection?
No, we shouldn’t. Delivery and access to the information that RAG-based search tools pull upon are still not resolved and won’t be resolved anytime soon. Quality issues and bias, as well as issues with hallucinations are not resolved entirely. We still need tools that give us a complete overview of a library’s holdings and they should be made publicly accessible. It is our job to make sure that the current hype around AI search does not lead to us abandoning tried and true solutions for our users. Both tools have their use cases. It is on us to identify them and implement the right approach for each.
Reference interviews as we knew them are hardly relevant in 2025. However, we should not underestimate one major drawback of AI search assistants: The dilemma of the direct answer. First described by Potthast et al. in 2020, it is described as “a user’s choice between convenience and diligence when using an information retrieval system.”
AI search assistants force this trade-off onto their users by default: Should a user accept the answer generated and quickly move on, working from the assumption that it is correct, or should that user invest considerable amounts of time and effort into making sure that the answer the tool has generated is correct? With how fast-paced academia is and how convenient these tools feel, we need to ask about the impact the tools we offer have on research quality.
Also, most AI assistants give us little insight into how documents are chosen to generate the answer to a search query or how the answer is generated. We as librarians should make sure that this trade-off is something we make clear to the users of our systems. We should use our information literacy efforts to present students and faculty with this dilemma and work on developing mitigation strategies. But we should be clear-eyed about the efficacy of these interventions. These tools are both inherently convenient and failure-prone, which is not optimal in academic research. We need a thorough discussion in academia on how to mitigate these drawbacks.
While I doubt that AI search will cost librarians their jobs right now, fewer available jobs in libraries are on the horizon. Or, on a more positive note, maybe we aren’t asking the right questions. What job skills are needed to provide high-quality, librarian-approved AI search tools? What does the future workday of a systems librarian or a subject librarian look like when she is developing or using AI search tools?
Christensen was right when she wrote that we needed to talk more about the discomfort of librarians with discovery layers in order to make them successful. We should start talking about it when it comes to AI search now, even before many libraries have actually implemented these tools. We could start by developing guidelines and checklists that help libraries decide if they should invest in a commercially available tool. We should coordinate the development of an open-source version AI search interface for libraries. And last but not least, we should equip teaching librarians with the tools to translate the benefits and drawbacks of these tools to students and faculty.
Publicado en blog Universo Abierto
https://universoabierto.org/2025/01/28/el-uso-de-buscadores-podria-caer-en-un-25-con-la-llegada-de-la-ia/
«Gartner Predicts Search Engine Volume Will Drop 25% by 2026, Due to AI Chatbots and Other Virtual Agents.» Gartner Newsroom, 19 de febrero de 2024. https://www.gartner.com/en/newsroom/press-releases/2024-02-19-gartner-predicts-search-engine-volume-will-drop-25-percent-by-2026-due-to-ai-chatbots-and-other-virtual-agents.
Gartner predice que el volumen de los motores de búsqueda disminuirá un 25 % para 2026 debido a los chatbots de IA y otros agentes virtuales
Según un informe de Gartner, para 2026 el volumen de búsquedas en los motores tradicionales disminuirá un 25%, debido al crecimiento de los chatbots con inteligencia artificial (IA) generativa y otros agentes virtuales. Esto plantea un desafío para los equipos de marketing, ya que canales clave como las búsquedas orgánicas y de pago perderán relevancia frente a estas nuevas herramientas, que están sustituyendo consultas que antes se realizaban en buscadores tradicionales.
El uso de la IA generativa está reduciendo los costos de creación de contenido, lo que afecta estrategias como el uso de palabras clave y el puntaje de autoridad de dominio de los sitios web. En respuesta, los algoritmos de los buscadores darán más valor a la calidad y utilidad del contenido para contrarrestar la avalancha de material generado automáticamente.
Además, habrá un énfasis creciente en la autenticación del contenido, como el uso de marcas de agua digitales. También se anticipa que las regulaciones gubernamentales exigirán que las empresas identifiquen claramente el contenido creado por IA, lo cual influirá en cómo se muestran estos materiales en los buscadores.
Gartner aconseja a las empresas enfocarse en producir contenido único, útil y de alta calidad que refleje principios como la expertise, experiencia, autoridad y confianza (E-E-A-T, por sus siglas en inglés). Esto será crucial para mantenerse competitivos en los resultados de búsqueda y en la generación de valor para los clientes.
Publicado en blog Universo abierto
https://universoabierto.org/2024/11/04/podemos-confiar-en-las-busquedas-web-con-inteligencia-artificial/
El artículo «The Chatbot Optimisation Game: Can We Trust AI Web Searches?» publicado en The Guardian, analiza cómo los chatbots de inteligencia artificial (IA) eligen y presentan la información en las búsquedas en línea y cuestiona la confiabilidad de estas respuestas.
Investigadores de la Universidad de California en Berkeley encontraron que los chatbots actuales dependen excesivamente de la relevancia superficial de la información, priorizando textos con lenguaje técnico o palabras clave sin evaluar su confiabilidad. Esto significa que tienden a pasar por alto aspectos que normalmente consideraríamos para verificar la veracidad, como referencias científicas o lenguaje imparcial.
El concepto de «optimización de motores generativos» fue introducido el año pasado, indicando que el uso de un lenguaje autoritativo y referencias (incluso si son incorrectas o irrelevantes) podría aumentar la visibilidad en las respuestas de los chatbots hasta en un 40%. Sin embargo, estas conclusiones son tentativas y los algoritmos de selección de los chatbots aún son difíciles de manipular con reglas claras.
El uso de chatbots también plantea un dilema existencial en internet: a diferencia de los motores de búsqueda tradicionales, los chatbots solo mencionan unas pocas fuentes en sus respuestas, lo que beneficia a un grupo reducido de sitios y deja prácticamente invisibles a otros, afectando su tráfico significativamente.
Además, los investigadores de Harvard han demostrado que, más allá de la GEO, es posible manipular directamente las respuestas de los chatbots con “secuencias de texto estratégicas”. Estas secuencias, que parecen cadenas de caracteres sin sentido, en realidad están diseñadas mediante algoritmos que hacen que los chatbots generen respuestas específicas. Esto podría permitir que ciertos productos o contenidos logren más visibilidad en las respuestas de los chatbots, independientemente de su calidad o confiabilidad.
Este tipo de manipulación plantea riesgos evidentes para los usuarios, quienes podrían ver productos o información en el chatbot sin saber que fueron posicionados mediante técnicas de manipulación. Aunque en el futuro los LLMs (modelos de lenguaje de IA) podrían fortalecerse contra estos ataques, los investigadores señalan que los métodos de manipulación también están en constante evolución, por lo que los desafíos de control seguirán presentes.
Otro problema que el artículo resalta es el llamado “dilema de la respuesta directa”, un concepto desarrollado por el investigador Martin Potthast y su equipo. Este dilema surge cuando los chatbots presentan una única respuesta a una pregunta, lo cual puede llevar a que los usuarios acepten esa respuesta sin buscar otros puntos de vista o fuentes. Esto plantea el riesgo de que los usuarios perciban la respuesta del chatbot como la verdad única, sin considerar otras perspectivas o matices que podrían ser importantes en temas complejos.
Con la introducción de resúmenes de IA en los motores de búsqueda, Google lanzó la campaña «Let Google do the searching for you» («Deja que Google haga la búsqueda por ti»), lo cual sugiere que estos resúmenes optimizan el proceso de búsqueda. Sin embargo, este tipo de automatización podría perjudicar a aquellos usuarios que buscan información imparcial y precisa, ya que los chatbots, al ser susceptibles a manipulaciones, no siempre pueden garantizar que la información proporcionada sea confiable.
En resumen, el artículo advierte sobre los desafíos éticos y prácticos que implica la creciente dependencia de chatbots generativos para obtener información en línea. Si bien pueden hacer las búsquedas más rápidas y cómodas, los riesgos de manipulación y la falta de una supervisión clara en la selección de información hacen que esta tecnología aún esté lejos de ser una fuente autoritativa y confiable para temas complejos.
Publicado en Xataka
https://www.xataka.com.mx/investigacion/alumnos-usaban-chatgpt-para-ensayos-tareas-reportes-que-nueva-york-ha-vetado-inteligencia-artificial-sus-aulas
ChatGPT es una herramienta tan espectacular que es lógico que su presencia permee en varios sectores, desde industrias hasta escuelas. El impacto ha sido tal que ha puesto a las autoridades de escuelas públicas en Nueva York en alerta y han decidido vetar al chatbot con inteligencia artificial de las redes de las escuelas.
Las respuestas del ChatGPT son naturales, sencillas y, aún así, pueden ser muy elaboradas. Por ello es que sus respuestas no son tan fáciles de distinguir de las de un ser humano y así es que los resultados de texto de ChatGPT han llegado para hacerse pasar como tareas de alumnos. Así, el departamento de educación de Nueva York ha anunciado el veto a la herramienta debido a "preocupaciones sobre impactos negativos en el aprendizaje de los estudiantes", dijo en una declaración que ha sido retomada por The Wall Street Journal.
La clave es la siguiente: "aunque la herramienta puede proveer de respuestas sencillas a preguntas, no crea pensamiento crítico y habilidades de resolución de problemas, las cuales son esenciales para el éxito académico", dijo también la autoridad.
Desde luego que la solución es un parche que funciona solo a medias. Los alumnos siguen pudiendo acceder a la herramienta desde cualquier otra red que no sea la escolar, incluyendo las redes móviles de sus propios dispositivos.
Efectos pendientes
Estos podrían ser apenas los primeros atisbos de la influencia de ChatGPT y sus efectos. Esta misma semana The Information lanzó un reporte en el que se lee que Microsoft está considerando integrar el motor conversacional detrás del chatbot a su explorador Bing, de manera que los usuarios que le utilicen consigan información de manera más natural, en vez de usar un buscador para conseguir un listado de enlaces para visitar en la web. En otras palabras, el concepto definitivo que está pensado para desbancar a Google como navegador predilecto implicaría re-construir la manera en que hemos usado navegadores desde que el internet para masas existe.
Dicho sea de paso, OpenAI, la startup detrás de ChatGPT es ahora mismo una de las mejor valuadas en el mundo, incluso a pesar de casi no generar ingresos.
Publicado en blog Academe https://academeblog.org/2025/06/13/the-case-for-government-backed-science-publishing/ Argumentos a favor de la p...