Cómo evitar las alucinaciones de IA y disminuir la capacidad que tienen de moldear una realidad paralela
OPINIÓN. Columnista invitado (*) | Esta problemática puede impactar en muy variadas situaciones. La mayoría de esas posibilidades está relacionada con la credibilidad de la información.
Nikolai Yezhov fue jefe de la policía secreta soviética (NKVD) y uno de los principales ejecutores de la purga de 1937-1938. En una famosa fotografía, aparece caminando con Stalin junto al canal de Moscú. Después de caer en desgracia y ser ejecutado, las fotos oficiales en donde aparecía fueron retocadas para eliminarlo de ellas. En muchos casos, por esta razón, se lo llamó el Comisario desaparecido...
Como vemos, de forma intencional o no, la realidad puede ser moldeada o modificada una vez que información falsa logra introducirse.
Se genera una serie de capas donde la información puede ser tomada como referencia para otra y así sucesivamente, hasta que el error/adulteración termina convirtiéndose en realidad.
Alucinaciones de la IA
Algo parecido sucede en el campo de la inteligencia artificial, a través de lo que se ha dado en llamar alucinaciones de la IA: aquellas respuestas incorrectas, engañosas o completamente inventadas que el modelo genera presentándolas como hechos reales.
Ahora bien, la inteligencia artificial no miente de forma deliberada, de hecho, no tiene conciencia como para tener esa intención. Básicamente, los modelos de LLM (Large Languaje Model) funcionan prediciendo cuál es la próxima palabra probable, basándose en patrones ya aprendidos.
Pero si la IA no tiene la información suficiente, si la pregunta resulta ambigua o si el dato no existe, igualmente intentará construir una respuesta coherente, básicamente porque estos modelos están construidos para generar respuestas. El no sé no es una alternativa para quien está del otro lado utilizándolas.
En lo que respecta al campo académico, la IA puede inventar fuentes ficticias como autores, libros, artículos, fallos judiciales, papers académicos, etc.
Una realidad que ya ocurre
Esto que estoy comentado no es teoría, es realidad y ya ocurre. En un artículo recientemente publicado en un medio de Estados Unidos se exponía que una de las consultoras más importantes a nivel mundial tuvo que retirar su estudio, el cual era utilizado por los consultores de la firma para promocionar servicios de ciberseguridad. ¿La razón? Se detectaron datos inventados, estadísticas inconscientes, citas académicas falsas y referencias a páginas web inexistentes.
Los mismos investigadores señalaban que publicar informes falsos generados parcialmente por IA puede contaminar el conocimiento disponible en internet, ya que futuros investigadores, sistemas de IA, periodistas, estudiantes o incluso modelos de lenguaje podrían utilizar esta información falsa como verdadera.
Y esto conecta con otro problema muy importante relacionado con la inteligencia artificial, llamado Data Poisoning/Envenenamiento de datos: un tipo de ataque o manipulación donde en un sistema de IA se introduce información falsa, alterada o maliciosa en los datos que utiliza una inteligencia artificial para aprender.
El razonamiento es sencillo: si una IA se alimenta de datos incorrectos, aprenderá cosas incorrectas y esto puede hacer que tome malas decisiones, genere respuestas falsas, favorezca ciertos resultados (esto puede ser un objetivo de un ciberatacante), y falle en situaciones críticas.
Como vemos, las alucinaciones pueden impactar en muy variadas situaciones, todas ellas relacionadas con la credibilidad de la información. El problema para las organizaciones es que estas alucinaciones no pueden ser eliminadas, dado que surgen, como hemos mencionado, de las respuestas probabilísticas que generan.
La revisión humana como respuesta
Por lo tanto, la pregunta para realizar no es cómo las eliminamos, sino cómo controlamos el riesgo que una alucinación genere impacto.
Y la respuesta es el concepto de Human in the loop (revisión humana): ante situaciones críticas, ante sistemas que deciden y ante informes redactados por una IA tiene que existir siempre una instancia de revisión humana, aún más en el caso de decisiones de alto impacto.
Existen otras alternativas, como que la IA utilice bases de datos confiables, por lo que solo será información provista por la organización.
Leé también: Paredes que sienten: la revolución de la neuroarquitectura y la IA en nuestro día a día
Ambas alternativas se conectan con otro concepto fundamental: las organizaciones maduras implementan estructuras de gobierno sólidas en cuanto al uso y manejo de la IA a través de políticas, clasificación del riesgo, validación de modelos, monitoreo, gestión de incidentes, auditoría de IA; puntos que forman parte del establecimiento de un Gobierno de IA.
Y así es: para un funcionamiento apropiado de la Inteligencia Artificial es necesario un Gobierno de IA que garantice transparencia, supervisión humana, gestión de riesgos y uso responsable de los modelos.
(*) El Mg. Javier Klus es coordinador de la Especialización en Business & Technology Management (BTM) de UADE Business School.
