Mi agente de inteligencia artificial me costó $400 de la noche a la mañana, así que construí pytest para agentes y lo compartí como código abierto

Era cerca de las 2am cuando miré el panel de control de OpenAI y vi mi factura subir de 80 a 400 en un solo día. La causa fue simple y dolorosa: uno de mis agentes empezó a invocar la misma herramienta 47 veces en bucle, en producción, mientras usuarios reales esperaban respuestas. Esa noche aprendí una lección que muchos desarrolladores descubren tarde.

En los últimos seis meses he desplegado agentes de inteligencia artificial en entornos reales y comprobé que lo que funciona en local puede fallar estrepitosamente en producción. A veces los agentes generan herramientas imaginarias. Otras veces responden sin llamar a ninguna herramienta y fabrican información con confianza absoluta. Y a veces se quedan atrapados en bucles que consumen tokens hasta romper la factura. Lo peor es que normalmente no te enteras hasta que un usuario se queja o hasta que ves el cargo en tu cuenta.

Intenté probar por unidades pero ¿cómo se comprueba algo intrínsecamente no determinista? Simular el LLM te deja probando los mocks y no el comportamiento real del agente. Yo quería algo sencillo: definir lo que el agente debe hacer, ejecutarlo y fallar la compilación si hace algo absurdo. Nada de tesis, solo pruebas prácticas.

Así nació una herramienta inspirada en pytest para agentes. La idea fue vergonzosamente simple: escribir un archivo YAML que describa el flujo esperado, ejecutar el agente y validar llamadas a herramientas, costes y salida. Por ejemplo, comprobar que una consulta sobre el estado de un pedido obligue al agente a invocar la función get_order_status y que el coste no supere un umbral. Si falla, rojo en la CI y despliegue bloqueado. Con esa única comprobación se evita aproximadamente el 90 por ciento de los errores tontos: respuestas inventadas, herramientas incorrectas o llamadas excesivas.

La herramienta soporta integraciones vía HTTP con plataformas como LangGraph, CrewAI, OpenAI y Anthropic, y añade un modo juez basado en LLM para evaluar calidad de salida cuando la comparación exacta de cadenas no tiene sentido. Se puede ejecutar localmente con un comando simple y encajar en pipelines de CI para crear verdaderos guardarraíles antes de publicar en producción.

El impacto fue inmediato. Antes de estas pruebas recibía dos o tres quejas de usuarios por despliegue y pasaba las noches investigando fallos en casos limítrofes. Tras incorporar pruebas automáticas, encadené diez despliegues sin incidentes y recuperé la tranquilidad de desplegar incluso los viernes. Las facturas sorpresivas también desaparecieron: detectar bucles infinitos antes de producción es bueno para la estabilidad y para el bolsillo.

Desde el punto de vista técnico, además de validar llamadas a herramientas y topes de coste, estoy trabajando en generación automática de tests a partir de logs de producción para convertir fallos reales en pruebas de regresión, y en un modo comparación para evaluar distintas versiones de agentes o configuraciones cara a cara.

En Q2BSTUDIO aplicamos estos aprendizajes en proyectos reales de software a medida, desarrollando aplicaciones y soluciones empresariales que combinan agentes IA y prácticas de despliegue seguras. Si su empresa necesita desarrollar aplicaciones a medida o quiere integrar agentes IA con controles de costes y calidad, en Q2BSTUDIO ofrecemos servicios de desarrollo de software y consultoría en inteligencia artificial que cubren desde la automatización de procesos hasta la analítica avanzada y servicios cloud. Con especialistas en ciberseguridad garantizamos además que las integraciones sean seguras y conformes a buenas prácticas.

Si le interesa potenciar procesos con IA para empresas o implementar soluciones de software a medida, puede conocer nuestras opciones de desarrollo en la página de aplicaciones y software a medida y descubrir nuestras capacidades en inteligencia artificial para empresas. También ofrecemos servicios cloud AWS y Azure y proyectos de inteligencia de negocio y Power BI para convertir datos en decisiones, y por supuesto ciberseguridad y pentesting para proteger sus sistemas.

Palabras clave: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi. Si alguna vez un agente le ha hecho pasar un mal rato en producción o ha abierto una factura que le dejó helado, piense en incorporar pruebas automáticas para agentes antes de publicar. Si quiere, puedo compartir el repositorio de referencia y ayudar a adaptarlo a su arquitectura.

Si busca asesoramiento o desarrollar proyectos concretos con agentes IA, automatización o business intelligence, en Q2BSTUDIO somos especialistas en crear soluciones a medida que integran seguridad, nube y análisis avanzado para empresas de cualquier tamaño.