Pregunta a tu video: RAG en contenedores para análisis visual y de audio

Pregunta a tu video: RAG en contenedores para análisis visual y de audio

En este artículo presentamos una implementación en contenedores de Ask Your Video que escala el procesamiento de contenido audiovisual mediante orquestación con AWS Step Functions y Amazon ECS. La arquitectura permite búsquedas en lenguaje natural sobre elementos visuales y de audio procesados en flujos paralelos, aplicando técnicas de RAG para combinar recuperación y generación de información.

Resumen arquitectónico: cuando se sube un vídeo a Amazon S3 se dispara un flujo en Step Functions que ejecuta dos ramas en paralelo. Rama visual: una tarea de Amazon ECS con FFmpeg extrae fotogramas a 1 FPS, filtra similitudes para reducir almacenamiento y envía los fotogramas únicos a Amazon Bedrock para generar embeddings. Rama de audio: Amazon Transcribe realiza la transcripción con diarización de oradores, segmenta por cambios de hablante y tiempo, y convierte los segmentos de texto a embeddings con Amazon Bedrock. Una función Lambda unifica los resultados, genera embeddings finales con un modelo multimodal Titan y los almacena en Amazon Aurora PostgreSQL con la extensión pgvector para consultas vectoriales.

Ventajas clave: mayor escalabilidad al procesar múltiples vídeos simultáneamente, consistencia de entornos gracias a Docker, tiempos de ejecución ilimitados en ECS Fargate, orquestación robusta con Step Functions y optimización de costes al pagar solo por los recursos utilizados. Este enfoque facilita la creación de agentes IA que interactúen de forma conversacional con la biblioteca audiovisual.

Despliegue básico: el proyecto se organiza en stacks CDK que construyen la infraestructura necesaria. Pasos principales: clonar el repositorio, preparar el entorno virtual e instalar dependencias, desplegar el clúster ECS con cd 01-ecs-cluster cdk deploy, desplegar la base de datos Aurora PostgreSQL con pgvector en cd 02-aurora-pg-vector cdk deploy, desplegar el workflow de audio y vídeo en cd 03-audio-video-workflow cdk deploy y finalmente desplegar la API de recuperación en cd 04-retrieval cdk deploy. Tras subir un vídeo al bucket S3 el pipeline se ejecuta automáticamente y los vectores quedan disponibles para consultas vía API o directamente en Aurora.

Pruebas y uso: existen notebooks que permiten consultar embeddings directamente en la base de datos o probar la API de recuperación mediante webhooks. El sistema soporta búsquedas básicas y búsquedas mejoradas con generación de respuestas a partir de retrieve_generate, y la monitorización se realiza desde la consola de AWS Step Functions.

Aplicaciones prácticas: búsqueda inteligente de fragmentos en bibliotecas de vídeo, moderación de contenido multimedia, análisis de calidad en procesos formativos y generación de insights para marketing audiovisual. Integrado con agentes conversacionales, este pipeline puede responder a consultas complejas que combinen audio y visión, habilitando asistentes de búsqueda multimodal y flujos de trabajo automatizados.

Sobre Q2BSTUDIO: en Q2BSTUDIO somos expertos en desarrollo de software a medida y aplicaciones a medida, especializados en inteligencia artificial, ciberseguridad y servicios cloud. Podemos ayudar a diseñar e integrar esta solución con la infraestructura de su empresa, optimizando costes y asegurando cumplimiento y resiliencia. Si busca potenciar sus proyectos con arquitectura en la nube, ofrecemos servicios cloud AWS y Azure que facilitan el despliegue y la operación de pipelines de vídeo a escala, y soluciones de inteligencia artificial para empresas que incluyen agentes IA y modelos conversacionales.

Si necesita una solución personalizada podemos diseñar la integración completa y adaptar la base de datos vectorial, la orquestación y las APIs de recuperación a sus requerimientos. Con experiencia en servicios de inteligencia de negocio y Power BI, también transformamos los resultados en dashboards accionables. Para conocer más sobre nuestros servicios de nube visite servicios cloud AWS y Azure y para explorar nuestras capacidades en IA visite IA para empresas.

Palabras clave integradas: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi.

Qué sigue: en la próxima entrega exploraremos cómo convertir este pipeline en una plataforma para agentes inteligentes que analicen vídeos mediante herramientas como Strands agents y otros frameworks de agentes IA. Si quiere escalar, asegurar o integrar esta solución en su ecosistema, contacte con Q2BSTUDIO para una propuesta a medida.

Contacte con nosotros para recibir apoyo en implementaciones, auditorías de ciberseguridad y proyectos de inteligencia de negocio que aprovechen análisis multimodal de vídeo.