Chat RAG: OpenAI y ChromaDB

En el mundo de las aplicaciones impulsadas por IA, la capacidad de conversar con los propios datos marca una diferencia fundamental. Imagina un asistente que no dependa únicamente de su conocimiento preentrenado sino que pueda aprender al instante a partir de documentos que le proporciones. Esa es la idea detrás de Retrieval Augmented Generation RAG y en este artículo explicamos cómo construir una aplicación web completa que materializa este concepto.

Presentamos Chat RAG un proyecto full stack con frontend en React y Typescript y backend en Python con FastAPI. El sistema permite al usuario subir documentos PDF DOCX TXT y otros formatos preguntar en una interfaz de chat en tiempo real recibir respuestas generadas por un modelo LLM respaldadas por el contexto de los documentos subidos y ver qué fragmentos del documento se han usado para generar la respuesta.

Arquitectura y flujo general El diseño es modular escalable y mantenible. La monorepo se organiza en carpetas backend frontend docs scripts y un docker-compose.yml que define los contenedores necesarios. Es importante crear la base de datos PostgreSQL previamente por ejemplo crear la base de datos chatrag_db ya que el backend crea las tablas automáticamente siempre que la base de datos exista y el usuario tenga permisos.

Procesamiento de documentos En el backend la ingesta y preparación de documentos es clave. Se usan loaders de LangChain para leer formatos como PDF y DOCX. El texto se divide en fragmentos manejables con un text splitter por ejemplo RecursiveCharacterTextSplitter para asegurar que las búsquedas sean muy específicas y que los trozos de contexto sean coherentes para la generación.

Embeddings y almacenamiento vectorial Tras fragmentar el texto cada fragmento se convierte en un vector numérico usando un modelo de embeddings como text embedding ada 002 o alternativas actuales. Esos vectores junto con su metadato se almacenan en una base vectorial como ChromaDB para poder recuperar rápidamente los pasajes más relevantes ante una consulta.

Bucle de recuperación y generación Cuando llega una consulta de usuario se calcula su embedding se consulta ChromaDB para recuperar los fragmentos más relevantes y se construye un prompt aumentado que incluye la consulta original y el contexto recuperado. Ese prompt se envía al LLM para que genere la respuesta. De este modo la recuperación proporciona el contexto y la generación devuelve la respuesta adaptada a los datos del usuario.

Chat en tiempo real y streaming Para una experiencia interactiva al estilo ChatGPT se emplean WebSockets. El endpoint de chat acepta la conexión el usuario envía mensajes y la respuesta del modelo se transmite de forma incremental token a token sobre la misma conexión ofreciendo retroalimentación inmediata en la interfaz React.

Contenedores y despliegue Para conseguir consistencia entre entornos el proyecto se dockeriza. El archivo docker-compose.yml define servicios para backend y frontend y un volumen persistente para la base vectorial Chroma de forma que los embeddings no se pierden al reiniciar contenedores. Arrancar todo el sistema es tan simple como ejecutar docker compose up --build en el entorno adecuado.

Extensiones y mejoras posibles Autenticación de usuarios para almacenamiento privado de documentos estrategias avanzadas de RAG como re ranking y transformaciones de consulta soporte de múltiples modelos de LLM con control de parámetros y mejoras en la experiencia de búsqueda y visualización de la trazabilidad de las fuentes.

Sobre Q2BSTUDIO En Q2BSTUDIO somos una empresa de desarrollo de software que crea aplicaciones a medida y software a medida con especialización en inteligencia artificial ciberseguridad y servicios cloud AWS y Azure. Ofrecemos servicios de inteligencia de negocio soluciones de IA para empresas agentes IA y desarrollo de dashboards con Power BI. Si buscas una solución de desarrollo y consultoría para crear aplicaciones empresariales a la medida puedes conocer nuestros servicios de desarrollo en desarrollo de aplicaciones y software multiplataforma y si te interesa potenciar tu infraestructura en la nube revisa nuestras opciones de inteligencia artificial para empresas y consultoría cloud.

Palabras clave y posicionamiento Este artículo aborda temas relevantes para posicionamiento SEO como aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA y power bi integrándolos naturalmente en la descripción del proyecto Chat RAG.

Conclusión Chat RAG es una base práctica para construir asistentes conversacionales que entienden y utilizan los datos del usuario. Con componentes claros para ingestión de documentos embeddings almacenamiento vectorial recuperación generación y streaming en tiempo real se consigue una experiencia potente y práctica. Si necesitas adaptar esta solución a procesos específicos de tu empresa en Q2BSTUDIO podemos ayudarte a diseñar implementar y desplegar la plataforma integrando ciberseguridad escalabilidad y analítica avanzada.