Construyendo un "Detector de Tonterías" para LLMs usando Node.js y pgvector

Has pasado semanas puliendo tus prompts. Has montado un sistema de recuperación robusto. Validaste cada pieza de datos que entra en la ventana de contexto. Y aun así tu bot RAG sigue dando respuestas con firmeza que resultan completamente falsas. No ocurre siempre, pero cuando sucede destruye la confianza del usuario. El problema con los LLM en producción no es solo hacer que respondan; es saber cuándo están inventando información o alucinando. Las prácticas clásicas de ingeniería de software, como pruebas unitarias con expresiones regulares, no funcionan con salidas de lenguaje natural no deterministas. Hace falta una capa nueva en la pila.

En Q2BSTUDIO, empresa especializada en desarrollo de software a medida, aplicaciones a medida, inteligencia artificial y ciberseguridad, abordamos este reto construyendo un middleware que actúa como detector de tonterías o fact checker implacable. La idea central es introducir un paso adversarial después de la generación y antes de mostrar la respuesta al usuario.

Arquitectura del flujo RAG resumida en pasos

1 El usuario hace una pregunta
2 La app recupera documentos relevantes
3 El modelo LLM genera una respuesta basada en el contexto
4 El usuario ve la respuesta salvo que un middleware la bloquee

El riesgo está en el paso 4. Confiamos implícitamente en el modelo. Para detectar alucinaciones introducimos un paso de validación semántica que compara la afirmación generada con las fuentes que se recuperaron.

Comprobación por proximidad semántica

Si ya contamos con la verdad fuente usada por la recuperación y con la afirmación final del LLM, podemos medir matemáticamente cuánto se alinean. Si la respuesta del modelo está semánticamente distante de los documentos fuente, es muy probable que esté inventando información.

Stack que usamos

Runtime Node.js por su ligereza y rendimiento en operaciones I O; TypeScript para seguridad de tipos; y PostgreSQL con la extensión pgvector para almacenar vectores junto a los datos operativos. Elegimos pgvector porque mantener vectores y datos en la misma base reduce la complejidad frente a gestionar un servicio externo solo para validación.

Lógica principal explicada

En vez de reejecutar todo el proceso RAG, el objetivo es verificar el grounding de la salida final. Convertimos la respuesta generada y los fragmentos de contexto en vectores de embeddings y calculamos similitud de coseno entre la afirmación y cada fragmento. Luego se obtiene una puntuación de confianza promedio o ponderada basada en la relevancia. Si la puntuación está por debajo de un umbral configurable, la respuesta se rechaza y no se muestra al usuario.

Decisión de paso o bloqueo

El middleware devuelve una decisión Pass o Reject junto con una puntuación numérica y detalles que expliquen por qué se bloqueó la respuesta. Esa información es esencial para la interfaz y para auditoría interna: sin una explicación, el rechazo es inútil para ingenieros y usuarios.

Ejemplo de salida útil

En producción registramos un objeto de auditoría con id, marca temporal, trust score, acción y detalles que enumeran contradicciones encontradas entre la afirmación y los fragmentos fuente. Esos detalles permiten presentar advertencias en la UI y alimentar procesos de mejora continua.

Beneficios de la capa de validación

Reduce el riesgo reputacional y la desinformación, permite tratar al LLM como un componente no confiable rodeado de guardrails, y facilita el cumplimiento en sectores regulados gracias a trazabilidad y logs de auditoría. Es especialmente valioso cuando se combina con soluciones de ciberseguridad y pentesting para proteger la integridad del flujo de datos.

Herramientas y extensiones operativas

La solución encaja con arquitecturas que ya usan servicios cloud aws y azure y puede integrarse con pipelines de inteligencia de negocio y power bi para generar dashboards de calidad de respuestas. Para proyectos de aplicaciones a medida o software a medida podemos desplegar un middleware como servicio dentro del mismo backend, evitando latencias y complejidad añadida. Conecta con nuestros equipos en Q2BSTUDIO para diseñar la integración perfecta.

Casos de uso prácticos

Agentes IA que ejecutan acciones comerciales o administrativas, asistentes que consultan bases legales, sistemas de soporte con datos financieros o médicos y soluciones de automatización de procesos se benefician de la validación semántica. Detectar afirmaciones no fundamentadas evita errores costosos y facilita la adopción de ia para empresas.

Implementación y despliegue

En el núcleo del servicio hay una rutina que calcula embeddings para la respuesta y para cada fragmento recuperado, luego calcula similitud de coseno y agrega las puntuaciones. Esta rutina puede correr asíncronamente y devolver una decisión con detalle. Al implementar en Node.js y TypeScript se garantiza rendimiento y tipado seguro; al usar PostgreSQL con pgvector se simplifica la operación y el mantenimiento frente a almacenar vectores en servicios externos.

Producto empaquetado y llamado a la acción

Hemos convertido esta lógica en una herramienta middleware llamada AgentAudit que se integra fácilmente en backends Node TS y empieza a detectar respuestas no fundamentadas de forma inmediata. Si necesitas una solución personalizada o quieres integrar validación semántica en tus agentes IA, contacta con nuestro equipo de desarrollo de aplicaciones a medida en desarrollo de aplicaciones multicanal o explora nuestros servicios de inteligencia artificial para empresas. En Q2BSTUDIO unimos experiencia en software a medida, ciberseguridad, servicios cloud aws y azure y servicios inteligencia de negocio para entregar soluciones fiables y auditables.

Conclusión

La validación de la salida es tan crítica como la validación de la entrada. No basta con ingeniería de prompts; hay que envolver a los LLM con capas que midan el grounding de sus afirmaciones usando embeddings y métricas de similitud. Con un middleware de comprobación semántica se recupera confianza del usuario y se protegen procesos críticos. Si quieres que te ayudemos a diseñar o desplegar este tipo de guardrails en tu plataforma empresarial, en Q2BSTUDIO estamos listos para colaborar.