Mi Segundo Cerebro Inteligente: Parte 1 IA con RAG

Resumen: en esta primera entrega sobre Mi Segundo Cerebro Inteligente: Parte 1 IA con RAG presento un proyecto personal basado en LangGraph que combina generación de embeddings, una base de vectores para RAG, memoria a largo plazo y flujo humano en el bucle para validación. El objetivo es construir un sistema de gestión del conocimiento que organice notas dispersas, facilite la recuperación semántica y permita que el usuario verifique y edite las respuestas generadas por la IA.

Estado maestro del conocimiento: el sistema mantiene un objeto de estado que centraliza toda la información que circula por el grafo. Entre sus elementos están mensajes de conversación, entrada del usuario, tipo de consulta que puede ser ingest para incorporar documentos o query para buscar información, texto bruto del documento, fragmentos resultantes del particionado, embeddings de los fragmentos, metadatos como fuente y categorías, documentos y fragmentos recuperados por la búsqueda vectorial, la respuesta generada por la IA, la respuesta final aprobada por el humano, feedback humano y ediciones, un historial conversacional acumulado, preferencias del usuario, estado del pipeline y registros de depuración. Algunas propiedades son acumulativas como el historial y otras reflejan el valor más reciente como la respuesta generada o la respuesta final.

Dos rutas en el grafo: ingest y query. La ruta de ingest permite subir documentos como PDF, dividirlos en fragmentos, generar embeddings y guardarlos en una base de vectores para futuras búsquedas semánticas. La ruta query utiliza el enrutador para recuperar fragmentos relevantes desde el vector store, enriquecer la petición al modelo de lenguaje y producir una respuesta que después pasa por revisión humana antes de almacenarse como conocimiento validado.

Estructura simplificada del flujo: al entrar, un router decide la ruta según el tipo de consulta. Para ingest se sigue router hacia chunk para segmentar, luego embed para generar vectores y finalmente store para persistir en la base de vectores. Para query se sigue router hacia retriever para recuperar fragmentos, luego hacia generación de respuesta, revisión humana y almacenamiento validado.

Particionado y embeddings: al procesar un documento largo se divide en fragmentos manejables para facilitar embeddings y búsquedas. Un ejemplo de configuración usa fragmentos de alrededor de 500 caracteres con solapamiento de 50 para preservar contexto. Los embeddings transforman cada fragmento en vectores semánticos que permiten búsquedas por similitud. En mi implementación se integró soporte para modelos de embeddings compatibles con proveedores cloud, y se contempla un fallback en caso de error para que el pipeline siga funcionando y registre el fallo en los logs.

Almacenamiento vectorial y metadatos: los embeddings y fragmentos se indexan en un vector store como Chroma, acompañados de metadatos que incluyen fuente, categorías y un identificador de fragmento. Estos metadatos mejoran la precisión de las búsquedas y permiten filtrar por categoría o por origen del contenido en el momento de la consulta.

Memoria a largo plazo y validación humana: además del vector store para recuperación semántica, el sistema incorpora una base de datos ligera tipo Sqlite para conservar el historial de mensajes y estados, asegurando persistencia y trazabilidad. La etapa Human in the Loop permite que un humano revise, edite y apruebe la salida de la IA, transformando borradores automáticos en conocimiento verificado antes de su almacenamiento final.

Integraciones futuras: la arquitectura está pensada para integrarse con una API basada en FastAPI y una interfaz web donde el usuario puede subir documentos, lanzar consultas, revisar respuestas y ver el historial. También se contemplan conexiones con servicios cloud para escalado y modelos de embeddings, uso de agentes IA para tareas automáticas y dashboards de inteligencia de negocio para explotar los datos almacenados.

Sobre Q2BSTUDIO: en Q2BSTUDIO somos especialistas en desarrollo de software y aplicaciones a medida, con enfoque en inteligencia artificial aplicada a empresas, ciberseguridad y servicios cloud aws y azure. Diseñamos soluciones que van desde aplicaciones corporativas hasta pipelines de IA y agentes IA que automatizan procesos y enriquecen la toma de decisiones. Si buscas soluciones de inteligencia artificial para tu organización puedes conocer nuestra oferta en servicios de inteligencia artificial. También desarrollamos aplicaciones y software a medida, ideales para integrar sistemas como un segundo cerebro personal o corporativo, revisa nuestras opciones de desarrollo de aplicaciones y software a medida.

Palabras clave y servicios: aplicamos conocimientos en aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi para crear soluciones completas que cubren desde la captura de conocimiento hasta su explotación analítica.

Próximos pasos: en artículos siguientes profundizaré en la ruta query, explicaré cómo se usa Sqlite como memoria a largo plazo, detallaré el flujo Human in the Loop y mostraré ejemplos de integración con FastAPI y una interfaz web. También compartiré fragmentos de código y el repositorio completo al cerrar la serie. Si te interesa implementar una solución similar para tu empresa, en Q2BSTUDIO podemos acompañarte desde la arquitectura hasta la puesta en producción.