Comparación cara a cara entre el Optimizador MCP de Stacklok y la Herramienta de Búsqueda de Herramientas de Anthropic

Resumen ejecutivo: ambas soluciones abordan el problema crítico del crecimiento excesivo de tokens causado por definir demasiadas herramientas en el contexto de agentes IA conectados a múltiples servidores MCP. En pruebas con 2,792 herramientas la diferencia es clara: el Optimizador MCP de Stacklok alcanza aproximadamente 94 por ciento de precisión en la selección de la herramienta correcta, mientras que la Herramienta de Búsqueda de Anthropic queda en torno al 34 por ciento. Para agentes IA en producción que necesitan selección fiable de herramientas sin disparar costes por tokens, estas cifras importan.

El problema que resuelven: al conectar agentes a muchos servidores MCP, las definiciones de herramientas pueden consumir gran parte de la ventana de contexto antes de empezar la conversación real. La mayoría de consultas sólo requieren pocas herramientas; cargar todas supone desperdicio de tokens, aumento de costes y caída de rendimiento a medida que crece el catálogo. Tanto Stacklok MCP Optimizer como Anthropic Tool Search Tool proponen cargar una única herramienta de búsqueda que encuentra y carga sólo lo necesario bajo demanda.

Beneficios y limitaciones: ahorro de tokens y rendimiento frente al riesgo de búsqueda fallida. Ventajas observadas: reducciones de tokens de hasta 80 por ciento en nuestros ensayos. Anthropic reportó internamente una preservación de 191,300 tokens frente a cargar todas las herramientas, un ahorro del 85 por ciento. Menos tokens suelen traducirse en mejor rendimiento del modelo. Anthropic mostró mejoras internas con Tool Search Tool activado, y nuestras pruebas con MCP Optimizer revelaron que modelos de gama media y baja se benefician especialmente: por ejemplo Gemini 2.5 Flash subió de 83.2 por ciento a 92.4 por ciento y un modelo gpt-oss-20B pasó de 38 por ciento a 69.4 por ciento en precisión de selección.

El riesgo clave es la falla en la recuperación: si la herramienta de búsqueda no incluye la opción correcta entre los resultados, la tarea falla o produce comportamiento inesperado; reintentos añaden latencia y consumen tokens. La pregunta crítica es con qué frecuencia funciona la búsqueda en la práctica, y eso es lo que medimos en la comparación directa.

Método de prueba: cargamos 2,792 herramientas desde varios servidores MCP usando el dataset MCP-tools y generamos para cada herramienta una consulta sintética con un LLM que naturalmente requeriría esa herramienta específica. Probamos la capacidad de búsqueda y selección usando Claude Sonnet 4.5. Métricas: Retrieval Accuracy mide si la herramienta correcta aparece en los resultados de búsqueda; Selection Accuracy mide si el modelo seleccione realmente la herramienta correcta para su uso.

Resultados clave: la brecha de selección refleja sobre todo diferencias en recuperación. Con el mismo modelo de selección, MCP Optimizer logró 98 por ciento de recuperación y 94 por ciento de selección, frente a 48 por ciento de recuperación y ~34 por ciento de selección para Tool Search Tool en catálogos extensos. Dicho de otra forma, si la herramienta correcta no aparece en los resultados, incluso el mejor modelo no puede elegirla. Estos resultados coinciden con pruebas independientes que apuntan a tasas de recuperación reducidas para la implementación actual de Anthropic en catálogos muy grandes.

Característica de ejecución: MCP Optimizer promedió 5.75 segundos por búsqueda, recuperó alrededor de 5.2 herramientas y envió 3,296 tokens de entrada por petición. Tool Search Tool (BM25) promedió 12.05 segundos, 5.0 herramientas y 2,823 tokens; su variante regex 13.55 segundos, 5.2 herramientas y 3,679 tokens. Aunque Tool Search Tool BM25 mostró consumo de tokens algo menor, MCP Optimizer sigue ofreciendo ahorros masivos frente a intentar cargar las 2,792 herramientas upfront, que requeriría 206,073 tokens y excedería la ventana de contexto.

Conclusión práctica: para sistemas en producción donde importan fiabilidad y rendimiento, la diferencia 94 por ciento frente a 30 34 por ciento es significativa. Anthropic identifica correctamente el problema y su enfoque on demand reduce tokens, pero la implementación actual no resulta suficiente para catálogos muy grandes ni es portable fuera de su ecosistema cerrado. MCP Optimizer demuestra que una búsqueda híbrida semántica más BM25 puede entregar tanto eficiencia de tokens como precisión de grado productivo.

Sobre Q2BSTUDIO: somos una empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial aplicada a empresas, ciberseguridad, servicios cloud aws y azure, servicios de inteligencia de negocio y automatización de procesos. Ayudamos a integrar agentes IA fiables, diseñar software a medida y desplegar arquitecturas escalables y seguras. Si quiere optimizar la selección de herramientas en sus agentes IA o desplegar soluciones personalizadas puede conocer nuestras capacidades en servicios de inteligencia artificial para empresas y en desarrollo de aplicaciones a medida.

Palabras clave integradas: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi. Contacte con Q2BSTUDIO para evaluar integración de MCP Optimizer, soluciones alternativas o auditoría de su arquitectura de agentes IA y así asegurar eficiencia en coste y robustez operativa.