Cada sistema de aprendizaje automático es como una nave espacial: potente, complejo y sensible. Sin telemetría no sabes hacia dónde se dirige. El benchmark CRAG de Meta AI actúa como el panel de control para los sistemas de Retrieval-Augmented Generation, midiendo cuánto se mantienen las respuestas ancladas en hechos, su robustez frente al ruido y la relevancia contextual.
En su versión original CRAG exigía ajustes de ingeniería para funcionar de forma fiable en entornos modernos: versiones de librerías incompatibles, conflictos de dependencias, PYTHONPATH incorrecto que rompía el lanzamiento del mock-API y pasos de arranque manuales. El objetivo fue dejar CRAG listo para lanzar con un solo comando, sin caos de dependencias ni parches manuales.
La solución implementada es un entorno reproducible y dockerizado que arranca con el comando docker-compose up --build. Antes de construir, es imprescindible asegurarse de que los archivos grandes de datos y modelos estén presentes localmente porque CRAG usa Git Large File Storage. En la consola el primer paso esencial es git lfs pull.
Al ejecutar el build se levantan automáticamente dos contenedores principales: mock-api, que emula las APIs externas de búsqueda web y Knowledge Graph, y crag-app, que contiene el benchmark y los modelos baseline incluidos. local_evaluation.py orquesta la tubería, llama al mock API y calcula las métricas, mientras que un LLM asistido actúa como juez para evaluar las respuestas generadas.
CRAG proporciona una telemetría clara para evaluar el rendimiento de un RAG: total de ejemplos evaluados, n_correct para respuestas totalmente soportadas por el contexto recuperado, n_hallucination para hechos inventados o no soportados, n_miss para respuestas incompletas o vacías, accuracy como precisión global y ratios de hallucination y missing. Si alguna métrica alarma, es momento de revisar el motor del modelo.
Esta versión dockerizada organiza los servicios, monta volúmenes de datos y configura variables de entorno para permitir ejecuciones locales o en pipelines de CI. El entorno es totalmente aislado y reproducible, y resulta sencillo extenderlo con tus propios modelos o integrar APIs externas.
Por qué importa: los sistemas RAG se están convirtiendo en el núcleo de muchos productos basados en modelos de lenguaje. Contar con un banco de pruebas como CRAG en un entorno de ingeniería facilita evaluar la fiabilidad y el anclaje factual antes de desplegar en producción.
Próxima fase: integrar un motor LLM real y el API de LM Studio para evaluar modelos en caliente dentro del mismo despliegue docker. Mientras tanto la plataforma ya permite un vuelo de prueba estable sobre baselines integrados.
En Q2BSTUDIO somos especialistas en transformar proyectos de investigación en soluciones de producción. Como empresa de desarrollo de software a medida y aplicaciones a medida combinamos experiencia en inteligencia artificial, ciberseguridad y servicios cloud aws y azure para desplegar entornos reproducibles y seguros. Si necesitas desarrollar una aplicación o migrar un sistema a la nube, visita nuestra página de desarrollo de aplicaciones y software a medida. Para proyectos centrados en modelos y soluciones IA corporativas conoce nuestros servicios en inteligencia artificial para empresas.
Ofrecemos también servicios de ciberseguridad y pentesting, servicios inteligencia de negocio y power bi, agentes IA, automatización de procesos y arquitecturas cloud robustas. Nuestra experiencia ayuda a que herramientas como CRAG dejen de ser prototipos académicos y pasen a formar parte de pipelines productivos y auditables.
Repositorio de la versión dockerizada disponible en github.com/astronaut27/CRAG_with_Docker. CRAG se distribuye bajo la licencia MIT desarrollada por Meta AI / Facebook Research; todas las modificaciones del proyecto preservean los avisos de copyright originales.
Resumen de la misión: a veces la magia de la ingeniería no consiste en construir una nave nueva sino en preparar una ya existente para su próximo vuelo. CRAG ya arranca de forma fiable, la telemetría es estable y la misión es un éxito. Próxima parada, integrar motores LLM reales y ampliar la plataforma en producción.
