En el món del desenvolupament d'intel·ligència artificial, hi ha una paradoxa cada cop més evident: models que superen totes les proves de validació estadística, però que fracassen estrepitosament quan s'enfronten a escenaris reals. Un estudi recent sobre models de món generats per grans models de llenguatge (LLMs) per a jocs il·lustra aquest fenomen a la perfecció. Aquests sistemes són capaços de sintetitzar les regles d'un joc en forma de codi executable —un 'Code World Model'— que després un planificador clàssic utilitza per prendre decisions. En avaluar-los, els investigadors van observar que els models passaven un filtre de mostreig amb un 100% de precisió en les transicions i eren exactes en més del 98% dels estats dins de la pròpia distribució de cerca del planificador. Tanmateix, en jugar partides completes, perdien sistemàticament. La raó: aquell petit percentatge d'error —menys de l'1%— corresponia exactament a les dinàmiques més crítiques del joc. La regla omesa tenia un cost de joc de 0.091, amb intervals de confiança molt ajustats. Aquest fenomen s'ha anomenat 'bretxa entre verificat i correcte'.
Aquesta bretxa no és un problema exclusiu dels videojocs. En l'àmbit empresarial, sistemes d'IA que es validen exclusivament amb mètriques de precisió sobre dades històriques poden fallar de manera similar quan se'ls demana operar en entorns dinàmics. Un model de detecció de frau pot assolir un 99% d'encert en el conjunt de prova, però l'1% restant —els casos que no detecta— solen ser els atacs més nous i costosos. De la mateixa manera, un assistent virtual pot respondre correctament el 98% de les consultes, però el 2% que falla inclou preguntes crítiques de clients clau. La lliçó és clara: l'exactitud predictiva sobre mostres no és sinònim d'adequació per a la presa de decisions.
A Q2BSTUDIO, empresa especialitzada en desenvolupament de programari i tecnologia, fa anys que advertim sobre aquesta fal·làcia. Quan dissenyem solucions d'Intel·ligència Artificial per als nostres clients, no ens conformem amb mètriques superficials. El nostre enfocament integra proves exhaustives que repliquen les condicions reals d'ús, incloent escenaris adversarials, canvis de distribució i casos límit. Això és especialment rellevant quan desenvolupem aplicacions a mida que incorporen agents d'IA, ja que aquests sistemes han de ser fiables no només en condicions controlades, sinó en el fragor del negoci diari.
L'estudi també revela que afegir més dades no repara la bretxa. Els LLMs es comporten com a traductors de regles, no com a inferidors. És a dir, no aprenen les regles ocultes de l'entorn a partir d'exemples, sinó que simplement reflecteixen les regles que ja estan presents en les dades d'entrenament. Si una regla crítica no apareix explícitament en les dades, el model no la inferirà per molts exemples que se li proporcionin. Això té implicacions profundes per a la indústria: confiar que un model aprendrà per si sol les complexitats del negoci a partir de dades històriques és una aposta arriscada. A Q2BSTUDIO combinem la potència de la IA amb el coneixement expert de dominis específics, garantint que les regles de negoci s'integrin de forma explícita en els sistemes.
La infraestructura tecnològica també juga un paper fonamental. Moltes empreses despleguen els seus models al núvol utilitzant AWS o Azure, esperant escalabilitat i fiabilitat. Tanmateix, si el model en si mateix té un punt cec, el núvol no el corregirà. Per això, a Q2BSTUDIO oferim serveis cloud que inclouen monitorització contínua del rendiment dels models en producció, no només de la seva latència o disponibilitat, sinó de la seva precisió en temps real. A més, les nostres solucions de Business Intelligence amb Power BI permeten visualitzar aquestes mètriques de rendiment i detectar desviacions abans que es converteixin en problemes greus.
Una altra troballa rellevant de l'estudi és l'existència d'un límit de cobertura per a jocs d'informació imperfecta. Es demostra que un filtre de mida N és identificador només quan N és de l'ordre d'un exponencial del nivell de profunditat màxima. Això explica per què alguns jocs simples, com el pòquer de Kuhn, no mostren la bretxa: la seva profunditat és baixa. En el món empresarial, els processos solen tenir una complexitat molt més gran, amb múltiples nivells de decisió i actors. Aquí, la validació basada en mostreig simple és insuficient. La automatització de processos que implementem a Q2BSTUDIO inclou la creació de bancs de proves que cobreixen sistemàticament les branques més profundes i els casos de vora, assegurant que el model s'enfronta a la veritable complexitat del negoci.
La ciberseguretat també es veu afectada per aquesta bretxa. Un sistema de detecció d'intrusions pot tenir una alta precisió al laboratori, però fallar davant d'un atac dissenyat específicament per explotar els seus punts cecs. A Q2BSTUDIO integrem proves de pentesting i anàlisi de robustesa com a part del cicle de desenvolupament, garantint que els sistemes siguin resistents no només a errors comuns, sinó a atacs adversarials. Els nostres clients confien en nosaltres per construir solucions segures des del disseny, combinant IA, núvol i ciberseguretat en un mateix ecosistema.
En definitiva, l'estudi sobre els models de món verificats però perdedors ens ofereix una valuosa lliçó: l'adequació per a la planificació no pot mesurar-se únicament per l'exactitud predictiva sobre transicions mostrejades. Cal avaluar el comportament del model en la distribució de cerca real o, millor encara, directament en el joc. Això implica repensar les metodologies de validació a tota la indústria del programari i la IA. A Q2BSTUDIO, ens prenem aquest repte molt seriosament. El nostre equip d'enginyers i científics de dades dissenya sistemes que no només passen proves, sinó que realment funcionen al món real. Ja sigui que necessiti una aplicació a mida, un agent d'IA, una migració al núvol o un quadre de comandament a Power BI, treballem amb vostè per garantir que cada component estigui verificat de forma significativa, no només estadística.
La tecnologia no és màgia; és enginyeria. I la bona enginyeria exigeix entendre les limitacions de cada eina. La bretxa entre verificat i correcte ens recorda que la intel·ligència artificial encara necessita supervisió humana, disseny acurat i una validació que vagi més enllà dels números. A Q2BSTUDIO oferim precisament això: un soci tecnològic que entén que la qualitat no es demostra en un informe d'accuracy, sinó en la victòria del client en el seu propi joc.
