.jpg)
El fenomen conegut com a grokking ha capturat l’atenció de la comunitat d’intel·ligència artificial per la seva estranya dinàmica: un model d’aprenentatge profund pot aconseguir la memorització perfecta de les dades d’entrenament molt aviat, però la veritable generalització —la capacitat de resoldre exemples mai vistos— apareix molt més tard, de vegades després de desenes de milers d’iteracions addicionals. Durant molt de temps es va assumir que aquest retard reflectia el temps necessari perquè el model desenvolupés representacions internes adequades a l’estructura de la tasca. No obstant això, aquesta hipòtesi seguia sent una observació correlacional. Un estudi recent ha aconseguit provar-la de manera causal, demostrant que el grokking s’accelera, es manté o s’elimina completament segons el tipus de prior estructural que s’injecti en el procés d’aprenentatge.
Els investigadors van dissenyar un experiment amb un transformer d’una capa entrenat per aprendre sumes modulars. Van introduir una pèrdua auxiliar supervisada-contrastiva que forçava les representacions ocultes a alinear-se amb tres tipus d’estructures diferents: l’estructura veritable de la tasca (l’equivalència (a+b) mod p), una estructura coherent però errònia ((a-b) mod p) i una partició aleatòria que només podia memoritzar-se. Els resultats van ser contundents: amb l’estructura veritable, el model va generalitzar en 22 de 30 execucions; amb l’estructura errònia (que compartia les mateixes característiques periòdiques però amb combinacions incorrectes), va generalitzar en 14 de 15; i amb la partició aleatòria, cap de les 20 execucions va aconseguir generalitzar. El control de la norma dels pesos va descartar que la magnitud dels paràmetres fos la responsable. Les sondes de representació van revelar que la formació de l’estructura interna precedeix i prediu la generalització en tots els casos. Només l’estructura veritable va accelerar el grokking fins a 2,75 vegades més ràpid que la línia base, tot i que amb una dependència de dosi i bimodalitat entre llavors.
Aquesta troballa té implicacions profundes per al disseny de sistemes d’intel·ligència artificial robustos i eficients. El retard del grokking no és un artefacte numèric, sinó el temps que el model necessita per descobrir la representació adequada. I
