API RAG de bajo costo utilizando AWS Lambda y Bedrock

Volver a escribir aquí después de casi un año me parecía necesario y justo. Este año fue acelerado, lleno de cambios y aprendizaje constante. Cambié de empresa y asumí un rol centrado en plataformas de inteligencia artificial, lo que me obligó a acelerar la curva de aprendizaje y a enfrentar varios retos de ingeniería. De esos experimentos personales surge este artículo sobre una implementación RAG personal y de bajo costo que construí para consultar mis notas técnicas, PDFs, fragmentos de artículos, documentación de AWS Azure GCP y mis apuntes de aprendizaje.

El objetivo era simple y concreto: un motor de conocimiento personal basado en RAG que no necesitara una interfaz compleja, solo un endpoint API que pudiera consultar desde Postman, curl o cualquier aplicación que estuviera desarrollando. Además impuse tres restricciones claras para mantenerlo viable como experimento personal: debía ser económico y preferiblemente casi gratis, no podía requerir infraestructura siempre activa como EC2 ECS EKS SageMaker, y tenía que ser simple y capaz de escalar a cero porque las consultas son esporádicas.

Esos requisitos descartaron muchas opciones tradicionales. El plan inicial con EC2 y una base vectorial local resultaba caro por almacenamiento y operación. Entonces opté por una arquitectura serverless basada en AWS Lambda para ejecución bajo demanda, S3 para almacenamiento de vectores en formato ligero y Bedrock para generación y embeddings. Con Lambda solo se paga por invocación, Bedrock proporciona embeddings y generación sin hospedar modelos locales, y para búsquedas de similitud utilicé operaciones numéricas simples con NumPy, suficientes para mi volumen de datos.

La idea central fue la siguiente: extraer y fragmentar documentos en trozos manejables, obtener embeddings con Bedrock Titan embeddings v1 que generan vectores de 1536 dimensiones por fragmento, guardar esos vectores en S3 en formato JSON y realizar búsquedas por similitud mediante coseno dentro de una función Lambda que se activa solo cuando hay una consulta. Los tres componentes clave fueron embeddings vectores, búsqueda por similitud y generación con LLMs desde Bedrock. Esta aproximación minimiza costos y elimina la necesidad de bases vectoriales complejas o clústeres siempre activos.

En la práctica el flujo fue sencillo. Primero preparé documentos locales y los troceé en fragmentos con tamaño y solapamiento controlados. Luego invoqué Bedrock para generar embeddings por fragmento y guardé una colección ligera en S3. La función Lambda carga ese JSON desde S3, calcula la similitud coseno entre la consulta y los vectores almacenados, selecciona los mejores resultados y envía ese contexto al modelo de generación en Bedrock para producir la respuesta final. Para datasets pequeños y uso personal, una implementación basada en NumPy y JSON ofrece rapidez y simplicidad.

Ventajas de este enfoque: costos muy bajos al evitar infraestructura siempre activa, escalado a cero con Lambda, simplicidad operativa y rapidez para iterar. Los consumos de Bedrock por embeddings y generación fueron moderados para mi uso, S3 aporta almacenamiento económico y Lambda reduce significativamente el coste total frente a soluciones con instancias o clústeres dedicados. Es una solución ideal para prototipos, pruebas personales y escenarios en que la frecuencia de consulta es reducida.

Limitaciones y consideraciones: para volúmenes grandes o alta concurrencia sería apropiado considerar una base vectorial optimizada, técnicas de indexación más avanzadas y una arquitectura que maneje latencias y particionado. También conviene definir políticas claras de privacidad y seguridad si los documentos son sensibles, y en ese aspecto Q2BSTUDIO ofrece servicios integrales de ciberseguridad y pentesting que pueden complementar la puesta en producción de soluciones RAG en entornos empresariales ver servicios de ciberseguridad.

Si tu empresa busca llevar estas ideas a un proyecto real, en Q2BSTUDIO somos especialistas en desarrollo de software a medida y aplicaciones a medida, con experiencia en inteligencia artificial para empresas, agentes IA y servicios cloud aws y azure. Podemos ayudar a diseñar la arquitectura adecuada, optimizar costes y asegurar la solución tanto desde la capa de datos como desde la operativa. Con experiencia en servicios de inteligencia de negocio y Power BI también apoyamos la integración de resultados y visualización con soluciones de inteligencia artificial y cuadros de mando que aporten valor real.

En resumen, una API RAG económica basada en Lambda y Bedrock es factible y práctica para uso personal y prototipos. Ofrece un equilibrio entre coste simplicidad y capacidad de experimentación. Para proyectos a escala empresarial o integraciones críticas, Q2BSTUDIO puede acompañarte desde el diseño hasta la implantación, combinando software a medida, servicios cloud aws y azure, seguridad y análisis con inteligencia de negocio y power bi para convertir tus datos en conocimiento aplicable.

Palabras clave relacionadas con este artículo: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws, azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi.