El razonamiento matemático se ha convertido en una de las capacidades más difíciles de evaluar en los modelos de lenguaje. Hasta ahora, la mayoría de los benchmarks entregan todos los datos necesarios en el enunciado y piden una respuesta cerrada. MIRA-Math cambia esa premisa. Presenta un problema con una única respuesta correcta, pero la vista visible para el sistema está incompleta: falta exactamente un dato atómico. El modelo debe solicitarlo de forma explícita, en lenguaje natural, antes de poder alcanzar la solución. Esta aproximación permite medir no solo si el modelo sabe calcular, sino si sabe cuándo necesita más información. En una empresa, esa capacidad es tan importante como el cálculo en sí.
MIRA-Math introduce un escenario más realista que los típicos conjuntos de problemas cerrados. En lugar de dar todas las condiciones al inicio, el modelo se enfrenta a una instancia incompleta. Debe analizar el enunciado, detectar la variable o constante que falta y formular una petición concreta. El benchmark define un presupuesto estricto de peticiones para evitar que el modelo adivine o haga preguntas genéricas. Además, el canal de respuesta está controlado: un respondedor basado en un modelo de lenguaje actúa como intermediario y solo entrega la pista canónica si la solicitud coincide con ella. Si la petición es ambigua o incorrecta, el respondedor la rechaza. Todo este proceso es determinista en la generación y validación de las instancias, lo que facilita comparar modelos entre sí.
El conjunto de datos incluye 2.310 instancias generadas a partir de 22 familias tipadas de matemáticas. Hay problemas de álgebra, probabilidad, sistemas lineales, estructuras discretas, procesamiento de señales, cadenas de Markov, circuitos, interpolación y problemas de contorno numérico. Esta variedad obliga al modelo a entender el dominio del problema para saber qué dato falta. No se trata de una simple plantilla: cada familia define su propio tipo de dato atómico y su propia lógica de validación. Las pistas están tipadas y la verificación de la respuesta final es exacta. Por tanto, MIRA-Math aísla de forma limpia la capacidad de pedir la información mínima necesaria.
Los resultados experimentales recogidos con modelos frontera y modelos pequeños muestran algo muy interesante. La capacidad de pedir la pista correcta y la capacidad de obtener la respuesta final correcta no siempre van juntas. Hay modelos que identifican correctamente qué dato falta, reciben la pista canónica y aun así fallan en el cálculo posterior. También hay modelos que ni siquiera llegan a solicitar la pista o la piden de forma imprecisa. Esta separación es muy informativa para quienes desarrollamos software: permite diagnosticar si el fallo está en la capa de comprensión del contexto o en la capa de razonamiento numérico. Sin un benchmark como MIRA-Math, ese diagnóstico quedaría oculto tras la métrica final de acierto.
En el desarrollo de software empresarial, esta distinción tiene consecuencias prácticas directas. Un asistente virtual que gestiona incidencias, un sistema de planificación de rutas o un cuadro de mando basado en BI necesitan operar con información incompleta. En muchos casos, es preferible que el sistema pida un dato concreto a que complete la ausencia inventando un valor. La alucinación en modelos de lenguaje es un riesgo real, sobre todo cuando las decisiones de negocio dependen de los números. Un benchmark que evalúa la petición mínima de datos ayuda a reducir ese riesgo.
En Q2BSTUDIO trabajamos cada día con este tipo de retos. Nuestro desarrollo de aplicaciones a medida combina lógica de negocio, datos y experiencia de usuario. Cuando integramos modelos de lenguaje en esas aplicaciones, no podemos asumir que el modelo conoce todo el contexto. La información suele estar repartida entre una base de datos corporativa, un servicio cloud y la persona que usa la aplicación. Por eso entrenamos a los agentes para que reconozcan sus límites y pidan la información que necesitan. MIRA-Math es una referencia útil para modelar esta conducta desde una perspectiva matemática.
La relación con la inteligencia artificial es evidente. Los agentes de IA que construimos en Q2BSTUDIO deben ser capaces de interactuar con APIs, bases de datos y usuarios sin perder el hilo del objetivo. Un agente que sabe pedir aclaraciones resuelve más tareas de forma autónoma y reduce la intervención humana. Pero pedir no es suficiente: hay que pedir con precisión. Una pregunta mal formulada provoca dos lecturas o una respuesta incompleta, igual que ocurre con el respondedor controlado de MIRA-Math. La calidad de la pregunta es parte esencial de la calidad del sistema.
La infraestructura también importa. Para que un asistente pueda solicitar y recibir datos en tiempo real, necesita una base sólida en la nube. En Q2BSTUDIO trabajamos con servicios cloud en AWS y Azure para desplegar modelos, gestionar identidades y conectar sistemas. Además, integramos capas de BI y Power BI para que los datos devueltos por el agente alimenten indicadores operativos. Un benchmark como MIRA-Math no resuelve estos aspectos por sí solo, pero ayuda a verificar que el núcleo de razonamiento funciona antes de añadir complejidad empresarial. La claridad de pedir qué falta es un paso previo a cualquier automatización.
En muchos proyectos de automatización de procesos, los agentes de IA reciben una entrada parcial y deben decidir si ejecutan una acción, piden un dato o escalan la tarea. MIRA-Math entrena una pieza concreta de esa cadena: la petición. Si un sistema de aprobación de facturas detecta que falta el centro de coste, debe preguntarlo antes de continuar. Si un asistente de RRHH no tiene la antigüedad de un empleado, debe pedirla. La lógica es la misma que en el benchmark, solo que con reglas de negocio. Esto demuestra que la petición mínima de datos no es una rareza académica, sino una funcionalidad central del software empresarial.
La ciberseguridad es otra dimensión que no puede ignorarse. Un sistema que solicita información adicional debe hacerlo sin exponer datos sensibles ni aceptar cualquier respuesta como válida. MIRA-Math simula esta limitación con un respondedor restrictivo que solo entrega la pista si la solicitud es correcta. Es una metáfora útil para las APIs reales protegidas por autenticación, autorización y auditoría. En nuestros desarrollos, aplicamos políticas de seguridad y pentesting para garantizar que la interacción entre modelos, usuarios y plataformas cloud no genere fugas de información. La petición mínima de datos también es una buena práctica de privacidad: solo se accede a la información estrictamente necesaria.
En definitiva, MIRA-Math ofrece una lente muy nítida para una capacidad específica del razonamiento matemático. No es un benchmark generalista ni pretende sustituir a las pruebas tradicionales de exactitud. Su valor está en separar dos elementos que suelen evaluarse juntos: saber qué falta y saber calcular con lo que se obtiene. Para una empresa tecnológica, esta distinción orienta mejor las inversiones en formación, arquitectura y modelos. En Q2BSTUDIO seguimos de cerca estos avances para aplicarlos a proyectos reales, desde asistentes financieros hasta herramientas de planificación industrial. La capacidad de preguntar con precisión será cada vez más valiosa en un mundo donde los datos están dispersos y las decisiones son urgentes.
