lunes, 4 de noviembre de 2024

Deficiencias de la IA (chatbots) en la búsqueda de información

Publicado en blog Universo abierto
https://universoabierto.org/2024/11/04/podemos-confiar-en-las-busquedas-web-con-inteligencia-artificial/ 




Bains, Callum. «The Chatbot Optimisation Game: Can We Trust AI Web Searches?» The Guardian, 3 de noviembre de 2024. https://www.theguardian.com/technology/2024/nov/03/the-chatbot-optimisation-game-can-we-trust-ai-web-searches.


El artículo «The Chatbot Optimisation Game: Can We Trust AI Web Searches?» publicado en The Guardian, analiza cómo los chatbots de inteligencia artificial (IA) eligen y presentan la información en las búsquedas en línea y cuestiona la confiabilidad de estas respuestas.


Investigadores de la Universidad de California en Berkeley encontraron que los chatbots actuales dependen excesivamente de la relevancia superficial de la información, priorizando textos con lenguaje técnico o palabras clave sin evaluar su confiabilidad. Esto significa que tienden a pasar por alto aspectos que normalmente consideraríamos para verificar la veracidad, como referencias científicas o lenguaje imparcial.

El concepto de «optimización de motores generativos» fue introducido el año pasado, indicando que el uso de un lenguaje autoritativo y referencias (incluso si son incorrectas o irrelevantes) podría aumentar la visibilidad en las respuestas de los chatbots hasta en un 40%. Sin embargo, estas conclusiones son tentativas y los algoritmos de selección de los chatbots aún son difíciles de manipular con reglas claras.

El uso de chatbots también plantea un dilema existencial en internet: a diferencia de los motores de búsqueda tradicionales, los chatbots solo mencionan unas pocas fuentes en sus respuestas, lo que beneficia a un grupo reducido de sitios y deja prácticamente invisibles a otros, afectando su tráfico significativamente.

Además, los investigadores de Harvard han demostrado que, más allá de la GEO, es posible manipular directamente las respuestas de los chatbots con “secuencias de texto estratégicas”. Estas secuencias, que parecen cadenas de caracteres sin sentido, en realidad están diseñadas mediante algoritmos que hacen que los chatbots generen respuestas específicas. Esto podría permitir que ciertos productos o contenidos logren más visibilidad en las respuestas de los chatbots, independientemente de su calidad o confiabilidad.

Este tipo de manipulación plantea riesgos evidentes para los usuarios, quienes podrían ver productos o información en el chatbot sin saber que fueron posicionados mediante técnicas de manipulación. Aunque en el futuro los LLMs (modelos de lenguaje de IA) podrían fortalecerse contra estos ataques, los investigadores señalan que los métodos de manipulación también están en constante evolución, por lo que los desafíos de control seguirán presentes.

Otro problema que el artículo resalta es el llamado “dilema de la respuesta directa”, un concepto desarrollado por el investigador Martin Potthast y su equipo. Este dilema surge cuando los chatbots presentan una única respuesta a una pregunta, lo cual puede llevar a que los usuarios acepten esa respuesta sin buscar otros puntos de vista o fuentes. Esto plantea el riesgo de que los usuarios perciban la respuesta del chatbot como la verdad única, sin considerar otras perspectivas o matices que podrían ser importantes en temas complejos.

Con la introducción de resúmenes de IA en los motores de búsqueda, Google lanzó la campaña «Let Google do the searching for you» («Deja que Google haga la búsqueda por ti»), lo cual sugiere que estos resúmenes optimizan el proceso de búsqueda. Sin embargo, este tipo de automatización podría perjudicar a aquellos usuarios que buscan información imparcial y precisa, ya que los chatbots, al ser susceptibles a manipulaciones, no siempre pueden garantizar que la información proporcionada sea confiable.

En resumen, el artículo advierte sobre los desafíos éticos y prácticos que implica la creciente dependencia de chatbots generativos para obtener información en línea. Si bien pueden hacer las búsquedas más rápidas y cómodas, los riesgos de manipulación y la falta de una supervisión clara en la selección de información hacen que esta tecnología aún esté lejos de ser una fuente autoritativa y confiable para temas complejos.

No hay comentarios:

Publicar un comentario

Intentando mejorar el sistema actual de las publicaciones científicas: habrá que leerse los artículos

Publicado en  The Conversation   https://theconversation.com/intentando-mejorar-el-sistema-actual-de-las-publicaciones-cientificas-habra-que...