L'aprenentatge automàtic ha revelat en els darrers anys fenòmens que desafien la intuïció. Un dels més fascinants és el grokking: un model entrenat amb una xarxa petita pot romandre en un altiplà de pèrdua durant moltes èpoques i, de sobte, generalitzar amb una precisió gairebé perfecta. Aquest comportament no és un mer detall acadèmic; condiciona la manera com dissenyem sistemes d'IA en entorns empresarials. A Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, seguim aquests avenços amb atenció perquè afecten directament la fiabilitat de les solucions que construïm per a clients en sectors com la banca, la logística o la indústria.
El terme grokking prové de l'argot de la ciència-ficció i significa comprendre alguna cosa de manera profunda i intuïtiva. En el context de les xarxes neuronals, s'utilitza per descriure el moment en què un model passa de memoritzar les dades d'entrenament a captar la regla general. Aquest fenomen s'observa sovint en tasques d'aritmètica modular: quan una xarxa aprèn a sumar o multiplicar mòdul un nombre enter, l'error d'entrenament baixa aviat, però l'error de validació es manté alt durant un temps considerable. Després, en un interval breu, la xarxa sembla entendre l'estructura subjacent i generalitza de manera gairebé perfecta.
Durant aquesta transició, el model recorre una trajectòria en l'espai de pesos. Cada vector de pesos, que agrupa tots els paràmetres de la xarxa, es pot descompondre en dos elements: la norma, que és la seva longitud, i la direcció, que és l'orientació en l'espai d'alta dimensió. La norma determina l'escala global de les actualitzacions; la direcció determina quines representacions internes es prioritzen. La pregunta clau és quin d'aquests dos components és realment responsable que la xarxa acabi adoptant una solució concreta.
Per respondre, els investigadors han desenvolupat les intervencions quimera. Una intervenció quimera consisteix a combinar components de dues xarxes entrenades amb llavors diferents. Si prenem la norma d'un entrenament i la direcció d'un altre, i tots dos s'insereixen en una mateixa arquitectura, podem preguntar-nos quin component és responsable que el model acabi adoptant una solució o una altra. La idea és similar a crear una criatura mitològica barrejant parts de dos organismes: l'objectiu no és millorar el rendiment, sinó descobrir quina part aporta la identitat.
Els experiments realitzats en tasques d'aritmètica modular mostren una dissociació clara. D'una banda, la direcció és portadora d'identitat: si la direcció d'un model donant es transfereix a la norma d'un model receptor, el sistema tendeix a convergir a la mateixa solució que hauria adoptat el donant. Aquest efecte es produeix en la gran majoria de casos, mentre que una direcció aleatòria amb el mateix angle no produeix aquest desplaçament. La informació útil per triar la solució no és a l'escala sinó a l'orientació.
D'altra banda, la norma no conté identitat. La seva influència és més subtil: una norma més gran o més petita modifica el temps que triga el model a canviar de solució, però no determina quina serà. Com a màxim, retarda o accelera la transició. Aquesta troballa és important perquè suggereix que no n'hi ha prou amb reduir l'error d'entrenament ni amb augmentar la mida de la xarxa; la direcció del pes és la que emmagatzema el coneixement transferible.
La transferència d'identitat no és gradual. Hi ha un llindar sorprenentment nítid: la norma del receptor prediu si la direcció del donant pot imposar-se o no. Un procediment de bisecció adaptativa permet acotar aquest llindar amb gran precisió. Aquest comportament recorda una transició de fase en física: per sota de certa escala, la direcció és mal·leable; per sobre, queda congelada. En altres paraules, la direcció indica a quina solució s'aproxima una trajectòria, mentre que la norma governa la susceptibilitat d'aquesta identitat a ser sobrescrita.
Aquesta distinció té una lectura directa en el desenvolupament de programari empresarial. En un projecte d'IA, la direcció es podria identificar amb l'arquitectura del model, l'esquema de dades i les decisions de negoci; la norma, amb la quantitat de còmput invertida, la regularització o el temps d'entrenament. Una solució amb molta inversió però sense una direcció clara és tan fràgil com una xarxa amb una norma gran i una direcció feble. Per això, abans d'escalar, convé fixar la identitat funcional del sistema.
A Q2BSTUDIO treballem amb programari a mida i desenvolupament d'aplicacions a mida per a clients que necessiten control total sobre els seus models. No n'hi ha prou amb connectar una biblioteca de machine learning; cal definir un procés d'auditoria contínua. Utilitzem tècniques d'interpretabilitat per saber quines parts del model són portables i quines són específiques d'un entrenament concret. Aquest enfocament és especialment rellevant quan es desenvolupen projectes d'IA que han de complir requisits de seguretat, privacitat i explicabilitat.
La ciberseguretat també es beneficia d'aquesta forma d'anàlisi. Si sabem quina direcció del pes defineix el comportament d'un classificador, podem detectar manipulacions adversàries que alteren la norma sense canviar la direcció, o viceversa. Les auditories de models amb tècniques d'intervenció permeten avaluar la solidesa d'un sistema abans de desplegar-lo en producció. A més, la infraestructura influeix: entrenar al núvol AWS/Azure facilita executar experiments d'ablació, emmagatzemar mètriques i monitoritzar l'evolució de la norma i la direcció durant el cicle de vida.
Amb quadres de comandament a BI/Power BI, un equip de negoci pot veure com evoluciona la confiança del model sense necessitat de llegir matrius de pesos. La interpretabilitat no és només un exercici científic; és un avantatge competitiu. Les empreses que entenen el comportament intern dels seus sistemes poden reduir fallades, optimitzar recursos i explicar les seves decisions a reguladors i clients. En aquest sentit, la investigació sobre grokking ens recorda que la qualitat d'un sistema no es mesura només per la seva precisió final, sinó per l'estabilitat de les seves causes.
Les implicacions per al futur de l'aprenentatge automàtic són àmplies. Si poguéssim identificar la direcció canònica d'una tasca, podríem transferir habilitats entre models sense necessitat de reentrenar des de zero. Podríem fusionar models, reparar fallades i eliminar biaixos de manera més quirúrgica. Les intervencions quimera ofereixen un mètode per mesurar la portabilitat causal dels components d'una xarxa, una cosa que els mètodes basats en una única trajectòria no poden fer. Una intervenció en una sola execució demostra que alguna cosa és necessària, però no que sigui transferible a una altra xarxa.
A Q2BSTUDIO creiem que la IA empresarial s'ha de basar en principis sòlids, no en heurístiques opaques. El nostre equip combina enginyeria de programari, ciència de dades i seguretat per construir solucions escalables. Oferim des de núvol AWS/Azure fins a Business Intelligence amb Power BI, passant per automatització de processos i agents d'IA. L'estudi de fenòmens com el grokking ens recorda que l'excel·lència tècnica consisteix a entendre les causes profundes del comportament dels sistemes, no només a optimitzar mètriques superficials.
En resum, la magnitud i la direcció del pes expliquen històries diferents. La direcció selecciona la identitat; la magnitud regula la plasticitat. Aquesta distinció, revelada per les intervencions quimera, ens ajuda a dissenyar models més robustos, transferibles i auditables. En un món on la IA s'integra en processos crítics, saber quina part del model conté el coneixement veritable és el primer pas per construir tecnologia fiable.
