Incluso la IA sufre de inseguridad y entra en crisis si se la cuestiona

Incluso la Inteligencia Artificial sufre de inseguridad : cuando una de sus afirmaciones es cuestionada , los modelos de lenguaje a gran escala (LM) como GPT4 tienden a tener dificultades y a proporcionar respuestas menos fiables . Así lo demuestra un estudio realizado por investigadores de Google DeepMind y University College London y publicado en arXiv, la plataforma que alberga estudios que aún no han sido revisados por pares por la comunidad científica. Los LM son sistemas de Inteligencia Artificial con grandes habilidades de comunicación, pero su lenguaje surge esencialmente de análisis estadísticos relacionados con la secuencia correcta de palabras . Dado que se utilizan cada vez más en muchos sectores, desde las finanzas hasta la atención sanitaria, es esencial que los LM tengan un alto nivel de precisión y fiabilidad . Sin embargo, el estudio indica que, en algunos casos , su confianza puede flaquear . En particular, los modelos de lenguaje a gran escala pierden confianza cuando su interlocutor responde a una afirmación utilizando contraargumentos incorrectos y, a la inversa, ganan demasiada confianza cuando se sienten cómodos. Esta característica ha surgido especialmente con modelos como Gemma 3, GPT4o y o1-preview.

Los investigadores observaron que cuando un estudiante de maestría en derecho (LLM) da una respuesta incorrecta, pero su interlocutor coincide con ella , el modelo aumenta su confianza y tiende a mantener su afirmación incluso ante la evidencia contraria. Por el contrario, cuando da una afirmación correcta que luego es cuestionada por el interlocutor , tiende a perder la confianza fácilmente; en otras palabras, «dan demasiada importancia a los consejos contrarios, lo que resulta en una pérdida significativa de confianza en su respuesta inicial», escriben los autores. Estas observaciones se suman a muchos otros estudios que demuestran cómo los textos generados por IA aún están sujetos a numerosas fuentes potenciales de error y cuánto trabajo aún queda por hacer para que los LLM puedan convertirse en herramientas verdaderamente fiables .