Una IA que te dice cuándo no está segura

Una IA responde igual de bien cuando lo sabe que cuando se lo está inventando. Misma redacción, mismo aplomo, misma estructura ordenada. No hay temblor en la voz.

Ese es el problema de verdad. No que falle —fallan todas, y las personas también— sino que falla sin cambiar de tono. Un experto humano dice “esto habría que mirarlo” o “no es mi campo”. Una IA, por defecto, no.

Por qué no duda

No es maldad ni descuido. Estos sistemas están entrenados para producir la continuación más plausible de un texto, y un texto plausible es un texto seguro de sí mismo. La duda no se premia.

Si le pides que se moje, se moja. Si le preguntas algo de lo que no tiene ni idea, construye una respuesta con la forma de una respuesta buena. Es lo que sabe hacer.

Puedes pedirle que te diga cuánto de segura está, y lo hará. Pero ese número tiene un problema: se lo está inventando con el mismo mecanismo con el que inventa todo lo demás. Una IA que se autoevalúa suele darse notas altas, y no porque mienta: es que no tiene forma de saber lo que no sabe.

De dónde puede salir una duda que valga

Si el modelo no puede medir su propia certeza de forma fiable, hay que sacarla de otro sitio. Y hay uno que funciona: preguntar varias veces, a sistemas distintos, y mirar si coinciden.

Es lo mismo que haces cuando algo te importa. Pides tres presupuestos. Buscas una segunda opinión médica. No porque el primero mienta, sino porque el acuerdo entre fuentes independientes dice algo que ninguna fuente dice de sí misma.

Cuando tres IAs de proveedores distintos responden lo mismo, hay una base sólida debajo. Cuando responden cosas contrarias, ya sabes algo importantísimo que con una sola no habrías sabido nunca: que tu pregunta no tiene respuesta automática.

Lo hemos visto en casos concretos. Preguntamos por una subida de alquiler a varias IAs y unas dijeron que el casero podía y otra que no. Ninguna estaba mintiendo: la respuesta dependía de datos que no estaban en la pregunta, y cada una supuso un escenario distinto sin decirlo. La discrepancia era la información.

Qué es un nivel de confianza que signifique algo

Aquí está la diferencia entre un número decorativo y uno útil:

No sirve un porcentaje que se saca el mismo modelo que ha respondido. Es como pedirle a alguien que se corrija su propio examen.

Sirve un número que refleje dos cosas medibles: cuánto coinciden respuestas independientes, y cuánto de lo que dicen es verificable frente a cuánto es opinión.

Así funciona el nuestro. Un juez fijo lee lo que ha dicho cada vocal y califica con la misma vara siempre: si coinciden y es verificable, confianza alta; si discrepan en algo material o la pregunta es ambigua, confianza baja y se dice por qué. Un 68 no es un adorno — significa que hay una discrepancia real y que deberías mirarla antes de decidir.

Por eso también nos negamos a redondear hacia arriba. Un veredicto que siempre dijera 90 sería más cómodo de vender y no valdría nada.

Cómo detectarlo tú, sin nada especial

Aunque no uses ninguna herramienta de estas, hay señales de que una respuesta es más frágil de lo que suena:

• Cero matices. Una respuesta a una pregunta compleja sin un solo “depende de” es sospechosa. La realidad tiene condiciones.
• Datos concretos sin fuente. Cifras, porcentajes, artículos de ley, nombres de normativas. Es donde más se inventa y donde más convence.
• No pregunta nada. Si tu pregunta necesitaba un dato que no diste y aun así te responde, se lo ha supuesto.
• Cambia de respuesta si insistes. Vuelve a preguntar lo mismo en otra conversación. Si la respuesta cambia sustancialmente, la primera no era una certeza: era una de las posibles.

Ese último truco es el más barato y el que más gente debería usar. Cuesta un minuto.

Lo que hay que pedirle a una IA

No que acierte siempre. Eso no lo hace nadie.

Lo que hay que exigirle es que cuando no lo sepa, se le note. Que la diferencia entre “esto está establecido” y “esto es mi mejor conjetura” llegue hasta ti, en vez de quedarse dentro.

Es lo único que convierte una respuesta en algo con lo que se puede decidir.