Publicado en blog Universo abierto
https://universoabierto.org/2024/10/25/una-herramienta-de-google-permite-detectar-facilmente-la-escritura-generada-por-ia/
«Google Tool Makes AI-Generated Writing Easily Detectable». New Scientist. Accedido 24 de octubre de 2024. https://www.newscientist.com/article/2452847-google-tool-makes-ai-generated-writing-easily-detectable/.
Google DeepMind ha desarrollado una técnica llamada watermarking que permite identificar texto generado por inteligencia artificial (IA) de manera automática. Esta tecnología, utilizada en las respuestas del chatbot Gemini, crea una especie de «marca» o firma en el texto que facilita distinguirlo del contenido escrito por humanos. La herramienta busca combatir el mal uso de los chatbots, como la propagación de desinformación y el fraude en entornos educativos y laborales.
El avance más reciente de Google es que ha hecho esta técnica disponible en código abierto, lo que permite que otros desarrolladores de IA puedan utilizarla en sus propios modelos de lenguaje. Pushmeet Kohli, de Google DeepMind, destaca que aunque esta tecnología, llamada SynthID, no es una solución definitiva, es un importante paso hacia la creación de herramientas más confiables para identificar contenido generado por IA.
La técnica funciona mediante un proceso llamado muestreo por torneo. Mientras el modelo genera una secuencia de texto, un algoritmo va guiando la selección de ciertas palabras (o tokens) que crean una firma estadística única. Este proceso aumenta la complejidad para quienes quieran eliminar o revertir esta marca. Según los investigadores de Google, este sistema ha sido probado en 20 millones de textos generados por Gemini sin que la calidad del texto se vea afectada, lo que demuestra su efectividad.
Sin embargo, los investigadores reconocen que esta técnica es más efectiva en textos largos que ofrecen múltiples formas de respuesta, como ensayos o correos electrónicos, y que no ha sido probada en tipos de respuestas más técnicas, como problemas de matemáticas o codificación. Además, expertos como Furong Huang de la Universidad de Maryland, señalan que un adversario con suficientes recursos computacionales podría eliminar estas marcas, aunque hacerlo requeriría un gran esfuerzo.
La herramienta también ha sido probada frente a otras técnicas de watermarking, y SynthID ha mostrado un mejor desempeño en la detección de contenido generado por IA. A pesar de su eficacia, Scott Aaronson, de la Universidad de Texas en Austin, advierte que ningún método de marcado es infalible, pero cree que puede ayudar a detectar una parte significativa de la desinformación o el engaño académico generado por IA.
Finalmente, los investigadores y expertos coinciden en que esta técnica es solo una parte de la solución y que se necesitan más salvaguardas contra el mal uso de los chatbots de IA. Furong Huang sugiere que la regulación gubernamental podría ayudar a hacer que el watermarking sea una medida estándar, asegurando un uso más seguro y confiable de los grandes modelos de lenguaje.
