“No sé”: la frase que es inconcebible para la inteligencia artificial (y que puede traer grandes problemas)
La confianza con la que responden los nuevos sistemas de IA es asombrosa, pero también peligrosa. Su programación está diseñada para que siempre ofrezcan una respuesta, aunque no sea la adecuada. En diálogo con RED/ACCIÓN, Augusto Alegre, ingeniero y especialista en IA, cuenta los tecnicismos de este fenómeno y sus consecuencias.
Crédito: Foto de Matheus Bertelli.
En una entrevista uno a uno, Emily Chang, periodista de Bloomberg, le preguntó a Mira Murati, directora de Tecnología de OpenAI, por qué ChatGPT no puede decir “no sé” cuando no tiene la respuesta indicada. Una pregunta que, al final del día, expone una de las grandes debilidades de esta tecnología.
Esta es una interrogante que convoca a cada uno de los bots conversacionales potenciados con inteligencia artificial. Al no tener la capacidad de limitarse ante una pregunta cuya respuesta no tienen, generan cualquier tipo de texto: incoherente, sin conexión ni relación hacia el pedido. Lo que hoy llamamos las famosas “alucinaciones”. Pero ¿por qué lo hace?
Augusto Alegre, ingeniero industrial y consultor de inteligencia artificial, explica para RED/ACCIÓN que la IA siempre intenta predecir la próxima palabra en una frase basándose en patrones de texto que aprendió, especialmente los grandes modelos de lenguaje. En lugar de decir “no sé” generan respuestas buscando en su nube de embeddings, un espacio matemático donde las palabras con significados similares están cerca, según el experto.
“La inteligencia artificial siempre tratará de dar una respuesta plausible en lugar de admitir que no tiene la información”, asegura Alegre. “Esto, sin embargo, puede llevar a las alucinaciones, donde la tecnología da respuestas que parecen correctas pero no lo son”, advierte.
De hecho, la organización austríaca sin ánimo de lucro NOYB (por sus siglas en inglés, none of your business) denunció a ChatGPT el mes pasado debido a que proporcionó datos de Max Schemrs, su fundadora, de manera incorrecta.
«Inventar información falsa es bastante problemático en sí mismo. Pero cuando se trata de información falsa sobre personas, las consecuencias pueden ser graves”, declaró Maartje de Graaf, abogada de protección de datos de NOYB. “Está claro que las empresas son actualmente incapaces de hacer que chatbots como ChatGPT cumplan la legislación de la UE cuando tratan datos sobre personas”, agregó.
En esta línea, Lassi Meronen, un investigador doctoral finlandés, comentó en un artículo de la Universidad Aalto que este exceso de confianza en algunas respuestas de los modelos de lenguaje, producto de la incapacidad de decir no sé, se convierte en un problema crítico para la seguridad, donde una mala toma de decisiones puede acarrear graves consecuencias. Por ejemplo, en sistemas potenciados con IA incorporados en los autos.
Ante esta situación, Brian Ziebart, profesor asociado de Informática de la Universidad de Illinois, en Chicago (Estados Unidos), explica que “hay que entrenar a las máquinas para que sepan cuándo es imprudente tomar decisiones basadas únicamente en el pasado. Hay datos que no siempre resultan útiles en un futuro tan cambiante”.
En efecto, según Alegre, la consecuencia principal tiene que ver con el hecho de que las personas siempre van a tener que verificar la información importante, por más buena que parezca la respuesta. Algunos sistemas, aclara, ya están agregando algunas indicaciones que dicen «ChatGPT puede cometer errores. Considera verificar la información importante”, para alertar a las personas.
Comentarios