En el mundo de la inteligencia artificial aplicada a procesos empresariales, los agentes LLM (Large Language Models) están asumiendo tareas cada vez más complejas que requieren decisiones secuenciales a lo largo de semanas o meses. Un problema recurrente es que el estado real del entorno —ese factor oculto que realmente impulsa los costos— nunca se observa directamente. Cuando un agente falla, no sabemos si no supo interpretar correctamente la información disponible (fallo de percepción) o si, aun sabiendo lo que ocurría, no actuó a tiempo (la conocida brecha entre saber y hacer, o knowing-doing gap).
Para abordar esta dualidad, el reciente estudio académico que introduce STOCKTAKE propone un benchmark de 26 semanas en la cadena de suministro, modelado como un proceso de decisión de Markov parcialmente observable y con seis factores ocultos. Su principal innovación es que permite calcular una política de referencia justa: un filtro de Bayes exacto por factor que, alimentado con la misma secuencia de observaciones que recibe el agente, genera una línea base contra la cual medir el desempeño real. De esta forma, se puede calcular un skill score entre 0 (política ciega que ignora síntomas) y 1 (oráculo perfecto), y además, analizando las justificaciones semanales del agente, se detecta el retraso en la identificación de estados ocultos y la tasa de knowing-doing.
Los resultados iniciales, obtenidos con modelos tan avanzados como Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro y Grok 4.5, revelan una paradoja: todos detectan entre el 84% y el 88% de los fallos ocultos, normalmente en la misma semana de inicio, pero sus puntuaciones de habilidad oscilan entre 0,62 y -0,23. Es decir, dos de los cuatro modelos terminan por debajo del umbral de la política ciega, a pesar de identificar los factores casi igual de rápido que los que lo superan. ¿Qué está fallando?
El estudio identifica dos caras de la misma moneda. Por un lado, cuando el estrés persiste, entre el 34% y el 43% de las semanas en que el agente diagnostica correctamente el estado oculto terminan en desabastecimiento (stockout). Esto indica una subrespuesta: el agente sabe que algo va mal pero no ajusta su acción lo suficiente. Sin embargo, la paradoja se acentúa: los dos modelos que quedan por debajo del suelo son los que menos desabastecimientos sufren en las semanas diagnosticadas. Su problema no es la inacción, sino el exceso de reacción: ajustan la cadena de suministro de forma tan agresiva que el costo de sus acciones supera el beneficio de evitar la rotura de stock. En otras palabras, el knowing-doing gap tiene dos direcciones: no hacer suficiente, y hacer demasiado.
Para una empresa que desee implementar agentes de IA en sus operaciones de aprovisionamiento, logística o planificación financiera, este hallazgo es crucial. No basta con que el agente sea capaz de leer el entorno; debe también calibrar sus respuestas para optimizar el equilibrio entre riesgo y costo. Aquí es donde entra la capacidad de personalización y monitorización que ofrecemos en Q2BSTUDIO, una compañía especializada en el desarrollo de aplicaciones a medida que integran inteligencia artificial, automatización de procesos y análisis de negocio.
Nuestra metodología consiste en construir agentes LLM que no solo perciben y deciden, sino que también generan explicaciones trazables. Gracias a la combinación de IA con soluciones de cloud AWS/Azure y ciberseguridad, podemos desplegar entornos de entrenamiento y evaluación similares a STOCKTAKE para cada caso de uso empresarial. Además, la integración con BI/Power BI permite visualizar en tiempo real tanto la tasa de acierto en la percepción como la eficiencia de las acciones, cerrando el ciclo de mejora continua.
El benchmark STOCKTAKE nos recuerda que, en el ámbito de los agentes IA, la precisión en la estimación del estado no es suficiente. La brecha entre percepción y acción puede manifestarse de formas opuestas: subactuación o sobreactuación. En Q2BSTUDIO ayudamos a las empresas a diseñar sistemas que midan ambas dimensiones y ajusten sus políticas de control con algoritmos de optimización dinámica. Por ejemplo, para un cliente del sector retail implementamos un agente de reposición que, tras detectar un patrón de demanda anómalo, no solo lanzaba pedidos de emergencia, sino que también evaluaba si el costo de esos pedidos superaba el posible lucro cesante, reduciendo el exceso de inventario en un 18%.
En definitiva, la lección de STOCKTAKE es que evaluar a un agente LLM solo por su resultado final es engañoso. Necesitamos herramientas que descompongan el fallo en sus componentes de percepción y acción. Estas herramientas, combinadas con plataformas flexibles de automatización y aplicaciones a medida, permiten a las organizaciones no solo desplegar agentes más inteligentes, sino también entender por qué aciertan o fallan. En Q2BSTUDIO estamos comprometidos con cerrar esa brecha, ofreciendo soluciones que van desde la consultoría en IA hasta la implementación completa de sistemas multiagente en entornos cloud híbridos.
Si su empresa está explorando el uso de agentes autónomos para la toma de decisiones en cadena de suministro, finanzas o atención al cliente, le invitamos a contactarnos. Juntos podemos diseñar un marco de evaluación que mida tanto la percepción como la acción, y evitar así que su agente —por muy inteligente que parezca— termine cayendo en la trampa de la brecha entre saber y hacer.
