Presentando mcp-tef: Probando las descripciones de tu herramienta MCP antes de que causen problemas
Resumen rápido: mcp-tef es una herramienta de código abierto que permite validar y mejorar las descripciones de herramientas MCP antes de desplegarlas en producción. Evita que descripciones vagas o solapadas lleven a modelos LLM a seleccionar la herramienta equivocada o a no seleccionar ninguna, reduciendo frustraciones de usuarios y pérdidas de confianza.
El problema: descripciones que fallan en producción. Al crear una herramienta MCP se define un nombre y una descripción que el LLM usa para decidir si debe invocar esa herramienta en respuesta a un prompt. Cuando la descripción es ambigua el modelo no sabe qué hace la herramienta. Cuando varias herramientas tienen descripciones similares se producen conflictos y el LLM puede elegir la herramienta equivocada o abstenerse de actuar. En entornos mixtos estos problemas se multiplican: servidores MCP propios, servidores de terceros y combinaciones de ambos aumentan la probabilidad de colisiones y malas selecciones.
Por qué importa: el coste de equivocarse. Detectar problemas en producción es caro y dañino para la experiencia de usuario. Las pruebas manuales no escalan y es casi imposible evaluar todas las combinaciones de prompts y herramientas. La solución efectiva es evaluar descripciones sistemáticamente antes del despliegue, utilizando pruebas reales con LLM, detección de similitud y análisis de calidad que generen recomendaciones accionables.
Qué hace mcp-tef. mcp-tef es un sistema de evaluación con licencia Apache 2.0 que ofrece tres capacidades principales para asegurar que tus descripciones sean precisas y diferenciadas.
1. Evaluación de herramientas: Permite crear casos de prueba con consultas reales de usuario y verificar si el LLM selecciona la herramienta esperada. Mide métricas como precisión, recall y F1, valida la extracción de parámetros y analiza la confianza del modelo. Si el LLM está muy confiado pero equivocado mcp-tef marca la descripción como engañosa y prioriza su corrección.
2. Detección de similitud: Utiliza embeddings para identificar pares de herramientas con descripciones muy parecidas. Genera matrices de similitud y marca pares por encima de un umbral que puedan confundir al LLM. Además propone recomendaciones concretas para diferenciarlas, incluyendo descripciones alternativas sugeridas.
3. Análisis de calidad: Puntúa descripciones en claridad, completitud y concisión en una escala del 1 al 10, señala vacíos y ambigüedades y ofrece textos mejorados que pueden sustituir o complementar la descripción original.
Ejemplo de flujo de trabajo. Imagina un servidor que expone una herramienta search con la descripción Search for documents. mcp-tef identificaría deficiencias de claridad y completitud, sugeriría una descripción más precisa como Search document CONTENT using keywords and boolean operators. Supports PDF, TXT, DOCX, and MD files. Returns ranked results with highlighted excerpts and relevance scores. y permitiría crear un caso de prueba que confirme que el LLM selecciona la herramienta correcta. Si aparece otro servidor con find_files y descripción Find files by searching with patterns, la detección de similitud señalaría la colisión y propondría enfatizar que una busca contenido y la otra nombres de fichero. Si el servidor de terceros no corrige la descripción, opciones como prefijado con vMCP o mejorar las propias descripciones siguen mitigando los errores.
Integración y despliegue. mcp-tef se comunica con servidores MCP vía Streamable HTTP o SSE, y puede integrarse en pipelines CI/CD gracias a su API REST con documentación OpenAPI y una interfaz interactiva en /docs. Todo lo que se puede hacer desde la CLI mtef también está disponible vía HTTP, lo que facilita automatizar pruebas al añadir herramientas nuevas o cambiar descripciones.
Compatibilidad LLM y comparación de modelos. mcp-tef facilita comparar cómo distintos modelos seleccionan herramientas con los mismos casos de prueba, por ejemplo Anthropic Claude frente a otros proveedores. Esto ayuda a validar migraciones de modelo y a asegurar comportamiento consistente en múltiples entornos, ya sean pruebas locales con Ollama o servicios en la nube mediante APIs.
Cómo encaja con el ecosistema. mcp-tef complementa otras soluciones: vMCP actúa como puerta de enlace virtual que resuelve conflictos de nombre mediante prefijos y enrutamiento, mientras que MCP Optimizer toma decisiones inteligentes de ruteo entre herramientas. Si las descripciones han sido validadas con mcp-tef, vMCP puede prefijar con criterio y Optimizer necesita menos reglas manuales para tomar buenas decisiones.
Casos de uso típicos. Probar servidores propios antes del despliegue, evaluar herramientas de terceros antes de integrarlas, ejecutar detección de similitud al combinar múltiples servidores y mantener pruebas continuas dentro de CI/CD. También es útil para comparar comportamiento entre proveedores y garantizar que agentes IA o flujos automatizados realmente invoquen la herramienta adecuada.
Sobre Q2BSTUDIO. En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida, especialistas en inteligencia artificial, ciberseguridad y servicios cloud aws y azure. Diseñamos soluciones de software a medida y aplicaciones multicanal que incorporan agentes IA y capacidades de inteligencia de negocio, como integración con power bi. Si buscas potenciar procesos con IA para empresas o desarrollar una solución segura y escalable podemos ayudarte a implementar flujos que incluyan herramientas de validación como mcp-tef y arquitecturas de orquestación. Conoce nuestros servicios de inteligencia artificial y cómo desarrollamos software a medida para proyectos que requieren alta fiabilidad y cumplimiento en ciberseguridad.
Recomendación práctica. Incorpora pruebas de descripción como paso obligatorio en tu pipeline: crea casos de uso representativos, ejecuta mcp-tef contra los modelos que usarás en producción, revisa las métricas y aplica las descripciones mejoradas propuestas. Ejecuta periódicamente análisis de similitud cuando agregues servidores de terceros y mantén mcp-tef en la cadena de despliegue para evitar regresiones.
Conclusión. mcp-tef permite anticipar y resolver problemas de selección de herramientas por LLM antes de que afecten a usuarios reales. Con evaluaciones basadas en pruebas reales, análisis de similitud y puntuación de calidad, facilita crear descripciones claras y diferenciadas que mejoran la precisión del enrutamiento. Combinado con tecnologías de gateway y optimización, y apoyado por servicios profesionales como los de Q2BSTUDIO, obtendrás un ecosistema MCP más robusto, seguro y fiable que impulsa agentes IA, automatizaciones y soluciones de inteligencia de negocio sin sorpresa para tus usuarios.
