Construyendo nuestro RAG

Esta semana en Learning of AI la dediqué a entender cómo funcionan los RAG Retrieval Augmented Generation.

Imagina un RAG como una cara con la que puedes conversar; el cerebro de esa cara son los datos que tú aportas. Así puedes conocer el contenido de un documento, un PDF o un sitio web simplemente chateando con esa cara.

Técnicamente, configurar algo así es más fácil de lo que parece.

Sigue el github para ver el código

A continuación tienes un esquema práctico para montar un chatBOT basado en RAG.

Selecciona fuentes: PDFs o sitios web. Elige qué datos y desde dónde los vas a inyectar en el modelo. Revisa los archivos indexing.js para carga de PDF y webindex.js para carga de sitios web.

Una vez hecho esto, el procedimiento siguiente es igual para ambas opciones y puedes usar ambas en el mismo proyecto.

Fragmentación: divide el texto en fragmentos. Estos fragmentos serán los que se guarden en la base de datos como embeddings vectoriales.

Metadatos: source, title, section, date, tags. No tienes que añadirlos manualmente si tu VectorDB los gestiona por cada fragmento.

Embeddings: genera embeddings vectoriales para cada fragmento mediante el código correspondiente.

Indexado y almacenamiento: guarda los resultados hasta este punto en la VectorDB.

Ahora viene la parte divertida.

Para cada mensaje del usuario, crea un embedding de consulta.

Recuperación: trae los fragmentos más similares desde la VectorDB y utilízalos para generar la respuesta. Basta con inyectar esos fragmentos como contexto en el modelo para procesar la consulta del usuario.

Y eso es todo. Montar un RAG puede ser realmente sencillo. Hay más por contar, como el ajuste fino, el diseño de sistema y la observabilidad, pero lo veremos otro día.

Sigue atento para más.

Peace

En Q2BSTUDIO, empresa de desarrollo de software y aplicaciones a medida, ayudamos a las organizaciones a implementar RAG de forma productiva con mejores prácticas de arquitectura, seguridad y MLOps. Somos especialistas en inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio y power bi, agentes IA y automatización de procesos. Si quieres impulsar tu ia para empresas con casos de uso reales y escalables, descubre nuestra propuesta de inteligencia artificial. Y si necesitas integrar tu RAG en productos digitales robustos y multiplataforma, consulta nuestro servicio de aplicaciones a medida y maximiza el retorno de tus datos con seguridad y rendimiento.