Fuita d'instruccions en models de món: solució sense objectiu
Els models de món condicionats pel llenguatge s'han convertit en una promesa central de la IA moderna. La idea és elegant: un agent que rep una meta textual hauria de construir una representació compacta de l'entorn i fer-la servir per planificar accions. En lloc d'enumerar tots els estats possibles, el model aprèn a donar suport en referències explícites, com la posició relativa de dos objectes. Aquesta capacitat reduiria dràsticament les dades necessàries i permetria generalitzar a situacions noves. Tanmateix, una recerca recent ha destapat una trampa. Un model pot aconseguir una precisió excel·lent en la lectura de relacions sense percebre el món. El model està transcrivint la instrucció, no interpretant l'escena. Aquest fenomen es coneix com a fuita d'instruccions i té conseqüències profundes per a l'avaluació i el disseny de sistemes que combinen llenguatge i visió.
La fuita d'instruccions es produeix quan la variable que mesurem està continguda en la mateixa instrucció. Si demanem a un model que predigui la posició d'un objecte i li indiquem, per exemple, que deixi l'objecte platejat davant del con taronja, el model pot emetre una resposta que coincideixi amb la meta sense necessitat de mirar la imatge. La precisió alta no reflecteix comprensió; reflecteix una correlació espúria. És un problema de validació molt semblant al que trobem en altres dominis d'aprenentatge automàtic: si en les dades d'entrenament hi ha una característica que actua com a drecera, el model la farà servir encara que no sigui la que realment importa.
L'experiment dissenyat per demostrar aquest problema és contundent. Un predictor de relacions entrenat per llegir ancoratges aconsegueix una exactitud de 0.90. En aparença, el sistema està interpretant correctament l'escena. Tanmateix, quan es retira la meta lingüística, l'exactitud cau a 0.27, molt a prop de l'atzar. Això indica que la representació interna no conté la informació visual necessària per a la tasca; depèn completament de la instrucció. La prova definitiva arriba amb una instrucció contrafactual: es mostra al model una escena i una ordre falsa. En el 94.5% dels casos, els ancoratges predits segueixen l'ordre falsa, mentre que només el 2.3% corresponen a l'escena real. És a dir, el model no mira el món; es limita a copiar el que diu el text.
Aquest comportament no és un cas aïllat. En provar el mateix protocol en un benchmark extern tan usat com BabyAI, s'observa la mateixa fuita. En canvi, un model de dinàmica forward basat en Language-Table es comporta de manera honesta mentre la instrucció nomena únicament els referents. Quan la instrucció es modifica per incloure també la direcció, apareix la fuita. Aquest matís reforça la idea que el factor decisiu no és la complexitat del model ni la competència entre predictors, sinó la presència de la resposta en la instrucció. Una altra evidència rellevant és que degradar l'acció no incrementa la fuita. Si el model hagués après a respondre fent servir l'acció com a font alternativa d'informació, en degradar-la recorreria a la instrucció. Això no passa, cosa que descarta l'explicació basada en competència.
La solució proposada és clara i aplicable. Primer, l'objectiu no ha de formar part de la dinàmica del món. La dinàmica prediu com evoluciona l'entorn a partir d'accions i estats; l'objectiu pertany al planificador, que el fa servir per avaluar costos i beneficis. Mantenir l'objectiu fora de la dinàmica evita que el model de món el faci servir com a drecera. Segon, cal supervisar la ruta de lectura de la representació apresa. És a dir, el model ha de demostrar que pot extreure la relació a partir de l'escena, no només a partir de la instrucció. Amb aquesta separació, el mateix model recupera una exactitud de 0.88, idèntica amb i sense objectiu. La fuita desapareix.
Aquesta troballa té implicacions més enllà del laboratori. Qualsevol sistema que combini una meta textual amb percepció pot patir fuita d'instruccions. Un sistema d'assistència remota, un robot que ordena magatzem o un agent d'atenció al client poden mostrar mètriques excel·lents en proves offline i fallar estrepitosament en producció perquè han après a jugar amb les paraules, no a entendre el context. Per això, l'estratègia d'avaluació ha d'incloure contrafactuals, ablacions i proves sense objectiu. No n'hi ha prou de reportar exactitud; cal saber exactament quina informació està fent servir el model.
A Q2BSTUDIO apliquem aquesta lliçó constantment. Quan desenvolupem aplicacions a mida, dissenyem l'arquitectura per separar l'entrada lingüística del mòdul de percepció i del mòdul de decisió. No volem que un agent aprengui a guanyar en l'entorn de prova memoritzant l'etiqueta. Volem que aprengui a resoldre el problema real. La nostra experiència amb clients demostra que aquest enfocament redueix el temps de posada en producció i facilita el manteniment evolutiu: si el model falla, sabem si la fallada és en la percepció, en el planificador o en la interfície amb l'usuari.
La fuita d'instruccions també hauria de formar part de l'auditoria de seguretat de qualsevol sistema d'Intel·ligència Artificial. En ciberseguretat, s'avalua si un adversari pot manipular la sortida injectant text maliciós. El paral·lelisme és evident: si la instrucció és capaç d'anul·lar completament la percepció d'una escena, un atacant pot provocar comportaments perillosos sense tocar les dades visuals. Detectar-ho exigeix proves de robustesa, red teaming i disseny acurat de la interfície entre llenguatge i entorn.
De la mateixa manera, en un entorn de Business Intelligence amb Power BI, una mètrica pot estar contaminada per una columna irrellevant que actua com a fuita. Un informe pot semblar revelador quan en realitat repeteix una classificació inclosa en les dades. La solució tècnica és la mateixa: separar la capa de dades de la capa de presentació, auditar les variables i posar a prova el resultat davant d'escenaris on s'elimina la possible font de fuita. En projectes de cloud AWS/Azure, aquest tipus d'higiene de dades és especialment important perquè els pipelines distribuïts multipliquen el risc que una variable esquer viatgi d'un servei a un altre sense ser detectada.
Els agents d'IA són un cas particularment vulnerable. Un agent rep objectius en llenguatge natural de manera contínua i opera en entorns parcialment observables. Si el model de món està condicionat per l'objectiu, l'agent pot resoldre la tasca sense construir un model de l'entorn. La recerca recent suggereix tractar l'objectiu com una entrada del planificador, no com a part de la dinàmica. Aquesta decisió de disseny no només elimina la fuita, sinó que fa el sistema més modular i auditable. Es pot canviar la funció de cost sense reentrenar la xarxa de transició, cosa que facilita l'adaptació a nous processos de negoci.
En resum, la fuita d'instruccions és una advertència valuosa per a la comunitat d'IA i per a les empreses que adopten aquestes tecnologies. Un bon resultat en una mètrica no garanteix que el model tingui el coneixement que creiem. L'única manera d'avançar és dissenyar experiments capaços de distingir entre percepció genuïna i transcripció de la consigna. Separar l'objectiu de la dinàmica i supervisar la ruta de lectura són passos concrets en aquesta direcció. A Q2BSTUDIO, apliquem aquests principis en cada projecte d'IA, cloud i automatització per construir programari robust, transparent i realment útil.
