Una guía práctica para construir agentes de IA con Java y Spring AI - Parte 6 - Multi-Modal Multi-Modelo

En la Parte 6 de esta serie damos un paso crucial: añadimos capacidades multi modal y arquitectura multi modelo a nuestro agente de IA para que no solo entienda texto sino también imágenes y documentos escaneados como facturas, recibos y billetes de transporte.

Problema solucionado: los agentes de IA que solo procesan texto pierden información crítica embebida en imágenes, PDFs y diagramas. En escenarios de negocio como la gestión de gastos, validación de facturas o verificación de documentos de viaje, la mayoría de la información llega en formato visual. Con la extensión multi modal podemos analizar fotos de recibos, extraer datos estructurados y comprobar cumplimiento de políticas automáticamente.

Qué añadimos: visión y análisis documental mediante modelos vision capable, un servicio especializado para procesar documentos y una arquitectura multi modelo que utiliza el mejor modelo según la tarea. En práctica esto significa separar el flujo de conversación del flujo de análisis de documentos: un Chat Model optimizado para diálogos y llamadas a herramientas, y un Document Model optimizado para visión y extracción estructurada. Además mantenemos un Embedding Model para búsqueda semántica y RAG.

Arquitectura resumida: el controlador recibe la petición, comprueba si llega un archivo codificado en base64 y lo enruta a DocumentChatService cuando corresponde; ese servicio envía prompts multimodales al modelo vision capable, recibe análisis estructurado, aplica verificación de políticas mediante RAG y puede invocar herramientas auxiliares como conversión de moneda. El usuario recibe una respuesta en streaming con feedback inmediato y un resumen estructurado listo para confirmar o registrar el gasto.

Implementación práctica: configuramos un modelo para documentos con visión (por ejemplo Claude Sonnet) y conservamos un modelo distinto para chat (por ejemplo Amazon Nova para interacciones rápidas). Creamos DocumentChatService que construye prompts que combinan texto y media, determina el mime type del fichero, envía la petición al modelo vision capable y procesa la respuesta para extraer campo por campo información como tipo de documento, categoría de gasto, importe y fecha. En el controlador actualizamos la ruta message para aceptar solicitudes con fileBase64 y fileName y decidir el servicio adecuado.

Flujo de ejemplo al subir un recibo: el navegador convierte la imagen a base64 y la envía; ChatController detecta el archivo y llama a DocumentChatService; el modelo vision analiza la imagen y extrae texto, montos, fechas y comercio; se ejecuta una comprobación de políticas con RAG y si procede se calcula la conversión a EUR; la respuesta se presenta en streaming con la sugerencia de registrar el gasto.

Beneficios de la aproximación multi modelo: optimización de costes al usar modelos económicos para chat y modelos más especializados para visión; mejor rendimiento y precisión al emparejar capacidades con tareas; flexibilidad para cambiar modelos sin modificar lógica de aplicación; y capacidad para casos de uso empresariales como análisis de facturas, verificación documental y control de cumplimiento.

Cómo probarlo localmente: asegúrate de tener Java 21, Maven, Docker Desktop y credenciales para Amazon Bedrock si vas a usar modelos en la nube. Puedes iniciar la aplicación, subir una imagen de un billete o recibo en la interfaz web y observar el proceso de análisis y extracción estructurada. Para entornos más integrados se puede conectar el agente al servidor MCP para registrar gastos y accionar herramientas backend.

Casos de uso recomendados: automatización de la gestión de gastos y facturas, verificación de documentos de viaje, extracción de datos de tickets y comprobantes, integración con sistemas contables y analítica interna. Este tipo de agente es ideal para empresas que buscan mejorar procesos con agentes IA y transformar flujos manuales en procesos automatizados y auditables.

Q2BSTUDIO y cómo te ayudamos: en Q2BSTUDIO somos especialistas en desarrollo de software a medida y aplicaciones empresariales. Diseñamos agentes IA integrados con seguridad y escalabilidad, prestamos servicios de inteligencia artificial para empresas y ofrecemos soluciones cloud sobre AWS y Azure para desplegar agentes en producción. Si necesitas aplicaciones a medida o software a medida para integrar visión por computador, extracción documental y automatización, podemos acompañarte desde el prototipo hasta la producción.

Además de IA, nuestro portafolio incluye ciberseguridad y pentesting para proteger tus flujos de datos, servicios de inteligencia de negocio incluyendo Power BI para explotar la información extraída de documentos y automatización de procesos para orquestar el registro y aprobación de gastos. Con una estrategia combinada de seguridad, cloud y analítica podrás transformar recibos e imágenes en datos valiosos para la toma de decisiones.

Palabras clave integradas para mejorar posicionamiento: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi.

Llamada a la acción: si quieres un agente de IA capaz de ver y entender documentos, integrar herramientas empresariales y desplegarse de forma segura en la nube, contacta con nuestro equipo y descubre cómo desarrollar una solución a medida. Tambien ofrecemos migración y despliegue en plataformas cloud con garantía operativa y mejores prácticas en seguridad como parte de nuestros servicios cloud AWS y Azure.

Conclusión: con la incorporación de capacidades multi modal y una arquitectura multi modelo tu agente pasa de ser un sistema de chat a una plataforma completa de automatización inteligente capaz de procesar imágenes, extraer datos estructurados y actuar según políticas empresariales. Esta evolución es clave para casos reales de negocio y para empresas que desean potenciar sus procesos con IA de forma segura y efectiva. En Q2BSTUDIO estamos listos para ayudarte a construir esa solución.