Construye un bot tipo RAG con documentos Markdown, scraping, PostgreSQL y BM25

En el panorama actual de la inteligencia artificial, construir asistentes capaces de responder preguntas basadas en documentación técnica sin alucinaciones es un desafío recurrente. Muchas empresas optan por sistemas RAG completos con embeddings y bases vectoriales, pero no siempre es necesario ni rentable. Una alternativa eficiente combina el scraping de archivos Markdown, almacenamiento en PostgreSQL y el algoritmo BM25 para la recuperación precisa de información. Este enfoque, que emplea búsqueda por palabras clave en lugar de vectores, resulta especialmente útil cuando la documentación utiliza vocabulario técnico consistente. La arquitectura incluye la extracción respetuosa de datos desde APIs con control de límites, la persistencia en base de datos relacional mediante operaciones upsert, y la construcción de un índice BM25 en memoria que permite respuestas sub-milisegundo. Posteriormente, los fragmentos recuperados se inyectan en el prompt de un modelo de lenguaje, evitando que invente datos. Para empresas que buscan ia para empresas robusta, este método ofrece una puerta de entrada práctica sin la complejidad de los sistemas vectoriales. En Q2BSTUDIO, desarrollamos soluciones que integran aplicaciones a medida con tecnologías como servicios cloud aws y azure, ciberseguridad, inteligencia de negocio con power bi y agentes IA. Nuestra experiencia demuestra que comenzar con BM25 permite validar la utilidad del bot antes de escalar a arquitecturas más complejas, incorporando poco a poco capacidades semánticas donde sea necesario. Este enfoque híbrido, combinado con un desarrollo de software a medida, garantiza resultados precisos y económicos, adaptados a las necesidades reales de cada organización.