Un chatbot ofreció tres títulos distintos al preguntarle por la tesis doctoral de Adam Tauman Kalai, uno de los autores de un estudio sobre las alucinaciones de la inteligencia artificial. Ninguno era correcto. El episodio, recogido en una investigación de OpenAI sobre las alucinaciones, ilustra un problema conocido: los sistemas pueden responder aunque no dispongan de la información necesaria.
Un estudio histórico del MIT aporta una perspectiva sobre los orígenes de estas herramientas, aunque no explica por sí solo sus fallos actuales. Algunos pioneros de la inteligencia artificial buscaban máquinas capaces de ofrecer respuestas inesperadas y recurrieron deliberadamente al azar en ciertos sistemas.
La búsqueda de respuestas inesperadas
El historiador Benjamin Lindquist ha examinado archivos e informes técnicos sobre esa incorporación del azar. En una entrevista del MIT, explica que algunos investigadores de mediados del siglo pasado creían que reproducir el pensamiento creativo requería cierta irregularidad. Una máquina muy previsible, pensaban, difícilmente sorprendería a sus creadores.
Lindquist considera que reducir las respuestas inesperadas puede limitar la creatividad. Su interpretación permite diferenciar entre generar posibilidades y evaluar cuáles son útiles, pero no demuestra que inventar hechos sea inevitable ni que separar esas tareas baste para eliminar las alucinaciones.
La biología ofrece una comparación para distinguir entre la aparición de novedades y su conservación. En El azar y la necesidad, publicado en 1970, Jacques Monod explica que en los sistemas biológicos surgen variaciones fortuitas sobre las que actúa la selección natural. Que sean fortuitas no significa que carezcan de causas físicas ni que aparezcan para proporcionar una mejora concreta.
Novedad y evaluación
Según un análisis de la concepción del azar de Monod, la selección natural actúa sobre las variantes disponibles, pero no todas son favorables ni se conservan.
La comparación tiene límites: una mutación no es una afirmación falsa y la selección natural no comprueba la verdad. Sin embargo, ayuda a separar la producción de una novedad de su evaluación. Una propuesta inesperada de una IA puede dar pie a una investigación, pero solo se convierte en un hallazgo tras ser contrastada. El problema surge cuando el sistema presenta como demostrado algo que es únicamente una posibilidad.
La investigadora Margaret Boden, especialista en creatividad computacional, distingue en su trabajo entre combinar ideas conocidas, explorar posibilidades y transformar las reglas de un ámbito. Estas tres formas de creatividad pueden modelarse mediante inteligencia artificial.
Creatividad y comprobación
En el caso de la IA, producir algo sorprendente mediante la combinación de palabras o ideas no basta. El sistema puede proponer una solución que nadie había imaginado, pero todavía es necesario comprobar si resuelve el problema. La diferencia está entre generar una ocurrencia y producir una idea valiosa.
La informática también estudia métodos para detectar respuestas sin fundamento. Un trabajo publicado en Nature propone comparar varias respuestas a una misma pregunta: si presentan versiones distintas de los hechos, esa dispersión puede señalar incertidumbre, aunque cada contestación parezca convincente. El método, llamado entropía semántica, busca medir la incertidumbre y detectar alucinaciones en modelos de lenguaje de gran tamaño.
La técnica no se limita a buscar palabras diferentes: alerta cuando las respuestas sostienen afirmaciones incompatibles. Puede ayudar a detectar algunas alucinaciones y a evitar respuestas en situaciones de riesgo, pero no garantiza que sean verdaderas; un modelo también puede repetir sistemáticamente un mismo error.
Por qué persiste el problema
Parte de la explicación está en el entrenamiento inicial. Los modelos de lenguaje aprenden a predecir cómo continúa un texto, sin recibir una etiqueta de verdadero o falso para cada afirmación. Según el análisis de OpenAI, pueden aprender patrones lingüísticos sin contar con información suficiente para recuperar determinados hechos. Que una frase esté bien construida no significa que el dato haya sido comprobado.
También influye la forma de medir el rendimiento. Si en un examen acertar suma puntos y dejar una respuesta en blanco vale cero, mientras que equivocarse no resta, arriesgar una contestación ofrece alguna posibilidad de obtener puntos. Abstenerse, en cambio, no da esa opción.
Los incentivos de las evaluaciones
Las pruebas no provocan directamente las alucinaciones. Sin embargo, si las clasificaciones destacan los aciertos y apenas distinguen entre equivocarse y abstenerse, pueden favorecer el desarrollo de modelos que se arriesgan a responder. OpenAI identifica ese incentivo como una de las razones por las que persiste el problema.
Por ello, los investigadores de OpenAI proponen cambiar también las reglas de evaluación: penalizar más una respuesta falsa expresada con seguridad que una duda justificada. Para confiar en una IA no basta con que sepa más; también importa que reconocer que no sabe no le resulte menos conveniente que aventurar una respuesta.
Fuente: Levante – EMV
