El raonament matemàtic s'ha convertit en una de les capacitats més difícils d'avaluar en els models de llenguatge. Fins ara, la majoria de benchmarks proporcionen totes les dades necessàries a l'enunciat i demanen una resposta tancada. MIRA-Math canvia aquesta premissa. Presenta un problema amb una única resposta correcta, però la vista visible per al sistema és incompleta: falta exactament una dada atòmica. El model ha de sol·licitar-la explícitament, en llenguatge natural, abans de poder arribar a la solució. Aquesta aproximació permet mesurar no només si el model sap calcular, sinó si sap quan necessita més informació. En una empresa, aquesta capacitat és tan important com el càlcul mateix.
MIRA-Math introdueix un escenari més realista que els conjunts de problemes tancats típics. En lloc de donar totes les condicions a l'inici, el model s'enfronta a una instància incompleta. Ha d'analitzar l'enunciat, detectar la variable o constant que falta i formular una petició concreta. El benchmark defineix un pressupost estricte de peticions per evitar que el model endevini o faci preguntes genèriques. A més, el canal de resposta està controlat: un intermediari basat en un model de llenguatge actua com a pont i només entrega la pista canònica si la sol·licitud coincideix amb ella. Si la petició és ambigua o incorrecta, l'intermediari la rebutja. Tot aquest procés és determinista en la generació i validació de les instàncies, cosa que facilita comparar models entre si.
El conjunt de dades inclou 2.310 instàncies generades a partir de 22 famílies tipades de matemàtiques. Hi ha problemes d'àlgebra, probabilitat, sistemes lineals, estructures discretes, processament de senyals, cadenes de Markov, circuits, interpolació i problemes de contorn numèric. Aquesta varietat obliga el model a entendre el domini del problema per saber quina dada falta. No es tracta d'una plantilla simple: cada família defineix el seu propi tipus de dada atòmica i la seva pròpia lògica de validació. Les pistes estan tipades i la verificació de la resposta final és exacta. Per tant, MIRA-Math aïlla de manera neta la capacitat de demanar la informació mínima necessària.
Els resultats experimentals recollits amb models de frontera i models petits mostren una cosa molt interessant. La capacitat de demanar la pista correcta i la capacitat d'obtenir la resposta final correcta no sempre van juntes. Hi ha models que identifiquen correctament quina dada falta, reben la pista canònica i tot i així fallen en el càlcul posterior. També hi ha models que ni tan sols arriben a sol·licitar la pista o la demanen de manera imprecisa. Aquesta separació és molt informativa per a qui desenvolupa programari: permet diagnosticar si l'error és a la capa de comprensió del context o a la capa de raonament numèric. Sense un benchmark com MIRA-Math, aquest diagnòstic quedaria amagat darrere la mètrica final d'encert.
En el desenvolupament de programari empresarial, aquesta distinció té conseqüències pràctiques directes. Un assistent virtual que gestiona incidències, un sistema de planificació de rutes o un quadre de comandament basat en BI necessiten operar amb informació incompleta. En molts casos, és preferible que el sistema demani una dada concreta a que completi l'absència inventant un valor. L'al·lucinació en models de llenguatge és un risc real, sobretot quan les decisions de negoci depenen dels números. Un benchmark que avalua la petició mínima de dades ajuda a reduir aquest risc.
A Q2BSTUDIO treballem cada dia amb aquest tipus de reptes. El nostre desenvolupament d'aplicacions a mida combina lògica de negoci, dades i experiència d'usuari. Quan integrem models de llenguatge en aquestes aplicacions, no podem assumir que el model coneix tot el context. La informació sol estar repartida entre una base de dades corporativa, un servei cloud i la persona que fa servir l'aplicació. Per això entrenem els agents perquè reconeguin els seus límits i demanin la informació que necessiten. MIRA-Math és una referència útil per modelar aquesta conducta des d'una perspectiva matemàtica.
La relació amb la intel·ligència artificial és evident. Els agents d'IA que construïm a Q2BSTUDIO han de ser capaços d'interactuar amb APIs, bases de dades i usuaris sense perdre el fil de l'objectiu. Un agent que sap demanar aclariments resol més tasques de manera autònoma i redueix la intervenció humana. Però demanar no és suficient: cal demanar amb precisió. Una pregunta mal formulada provoca dobles lectures o una resposta incompleta, igual que passa amb l'intermediari controlat de MIRA-Math. La qualitat de la pregunta és part essencial de la qualitat del sistema.
La infraestructura també importa. Perquè un assistent pugui sol·licitar i rebre dades en temps real, necessita una base sòlida al núvol. A Q2BSTUDIO treballem amb serveis cloud a AWS i Azure per desplegar models, gestionar identitats i connectar sistemes. A més, integrem capes de BI i Power BI perquè les dades retornades per l'agent alimentin indicadors operatius. Un benchmark com MIRA-Math no resol aquests aspectes sol, però ajuda a verificar que el nucli de raonament funciona abans d'afegir complexitat empresarial. La claredat de demanar què falta és un pas previ a qualsevol automatització.
En molts projectes d'automatització de processos, els agents d'IA reben una entrada parcial i han de decidir si executen una acció, demanen una dada o escalen la tasca. MIRA-Math entrena una peça concreta d'aquesta cadena: la petició. Si un sistema d'aprovació de factures detecta que falta el centre de cost, ha de preguntar-ho abans de continuar. Si un assistent de recursos humans no té l'antiguitat d'un empleat, ha de demanar-la. La lògica és la mateixa que al benchmark, només que amb regles de negoci. Això demostra que la petició mínima de dades no és una raresa acadèmica, sinó una funcionalitat central del programari empresarial.
La ciberseguretat és una altra dimensió que no es pot ignorar. Un sistema que sol·licita informació addicional ha de fer-ho sense exposar dades sensibles ni acceptar qualsevol resposta com a vàlida. MIRA-Math simula aquesta limitació amb un intermediari restrictiu que només entrega la pista si la sol·licitud és correcta. És una metàfora útil per a les APIs reals protegides per autenticació, autorització i auditoria. En els nostres desenvolupaments, apliquem polítiques de seguretat i pentesting per garantir que la interacció entre models, usuaris i plataformes cloud no generi fuites d'informació. La petició mínima de dades també és una bona pràctica de privadesa: només s'accedeix a la informació estrictament necessària.
En definitiva, MIRA-Math ofereix una lent molt nítida per a una capacitat específica del raonament matemàtic. No és un benchmark generalista ni pretén substituir les proves tradicionals d'exactitud. El seu valor és separar dos elements que solen avaluar-se junts: saber què falta i saber calcular amb el que s'obté. Per a una empresa tecnològica, aquesta distinció orienta millor les inversions en formació, arquitectura i models. A Q2BSTUDIO seguim de prop aquests avenços per aplicar-los a projectes reals, des d'assistents financers fins a eines de planificació industrial. La capacitat de preguntar amb precisió serà cada vegada més valuosa en un món on les dades són disperses i les decisions són urgents.
