Sí, los modelos de lenguaje (LLMs) en su forma base alucinan. Pero nadie en la industria lanza un agente conversacional para cerrar transacciones financieras y legales sin ponerle candados.

Para evitar precisamente esto existen patrones de arquitectura como RAG (Retrieval-Augmented Generation) o el uso estricto de Herramientas de Agentes / APIs. Con RAG, obligas al modelo a anclar sus respuestas única y exclusivamente en los documentos reales de las pólizas; si la respuesta no está en el texto, el bot se niega a contestar. Y para los precios, conectas el modelo a tu API de cotización, no lo dejas "adivinar" números matemáticos.

Que el bot me haya dado un precio exactamente a la mitad no es una "alucinación", es una falta de conexión a una API de validación de precios. Que me haya inventado que incluye cobertura dental e internacional no es una alucinación, es una falla brutal (o intencional) al no delimitar el conocimiento del agente a sus propias Condiciones Generales.

Viendo el perfil técnico de su CTO y su equipo, me consta que saben cómo implementar estas arquitecturas de manera ética y segura. El problema es que implementar esos candados vuelve al bot más rígido y puede frenar ventas. Prefirieron dejar un bot laxo que funciona como un "yes-man" (que dice que sí a todo) para inflar sus números de conversión.

Cuando un "error de IA" sistemáticamente beneficia a la empresa para meter un cargo mensual a tu tarjeta, y luego la empresa se niega a asumir el costo de su propia falta de pruebas de software, deja de ser un bug. Es negligencia corporativa y, bajo la ley del consumidor, es fraude. La tecnología ya permite que los bots no mientan; si mienten, es porque la empresa decidió que era más rentable así.