L'evolució dels models de llenguatge grans (LLMs) ha portat tècniques de destil·lació que transfereixen coneixement d'un model professor a un estudiant. No obstant, l'autodestil·lació en política (on-policy self-distillation) presenta un problema crític: l'estudiant tendeix a allunyar-se del seu comportament original quan el professor mostra confiança en contextos privilegiats que l'estudiant encara no pot justificar. Aquest fenomen, conegut com a deriva (drift), degrada el raonament fora de distribució (OOD). Per abordar-lo, sorgeix l'Autodestil·lació Geomètrica (GeoSD), que redefineix com es mesura i corregeix aquesta deriva utilitzant distàncies en l'espai de distribucions de tokens.
GeoSD introdueix dos mecanismes complementaris. D'una banda, una pèrdua de Hellinger que pondera cada preferència del professor segons la superposició que l'estudiant ja té amb ella, reduint l'estirament sobre tokens que l'estudiant encara no pot suportar. D'altra banda, un terme proximal que penalitza la distància Fisher-Rao entre les prediccions actuals de l'estudiant i les d'un checkpoint recent, evitant que els ajustos s'acumulin. Ambdós operen en la mateixa geometria de distribucions de següent token, permetent actualitzacions de gradient natural que respecten aquesta estructura. Els resultats en benchmarks de raonament matemàtic mostren millores d'entre 5.7 i 8.6 punts en precisió OOD sobre el model base, conservant els guanys dins de distribució.
Per a les empreses que desenvolupen solucions d'intel·ligència artificial, entendre i aplicar tècniques com GeoSD és crucial. No només millora la robustesa dels models, sinó que permet crear sistemes més fiables per a entorns canviants. A Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, integrem aquestes innovacions en els nostres serveis d'intel·ligència artificial per oferir models que generalitzen millor, reduint el risc d'errors costosos. Combinem aquesta expertesa amb aplicacions a mida que s'adapten a les necessitats específiques de cada client, ja sigui en cloud AWS/Azure, ciberseguretat o business intelligence amb Power BI.
L'adopció de mètodes geomètrics en l'entrenament de models representa un salt qualitatiu. Mentre que les tècniques tradicionals de destil·lació busquen minimitzar la divergència KL o l'error quadràtic, GeoSD reconeix que la deriva no és un problema de magnitud sinó de direcció. En penalitzar la distància en l'espai de distribucions, l'estudiant manté obertes alternatives en estats d'alta entropia, evitant caure en acords confiats però erronis. Això té implicacions directes en aplicacions empresarials com assistents virtuals, sistemes de recomanació o agents IA que han d'operar sota incertesa.
La nostra experiència a Q2BSTUDIO ens ha mostrat que la clau de l'èxit en projectes d'IA no està només en els algoritmes, sinó en com s'integren amb la infraestructura existent. Per això complementem tècniques avançades com GeoSD amb serveis al núvol (cloud AWS/Azure) que garanteixen escalabilitat, i amb solucions de ciberseguretat que protegeixen les dades durant l'entrenament i la inferència. A més, l'analítica de negoci amb Power BI permet visualitzar el rendiment dels models i prendre decisions basades en dades.
En definitiva, l'autodestil·lació geomètrica obre noves vies per construir models de llenguatge més generalitzables. Per a les organitzacions que busquen diferenciar-se en un mercat cada cop més competitiu, invertir en aquestes tècniques no és una opció, sinó una necessitat. Des de Q2BSTUDIO, oferim l'acompanyament necessari per implementar aquestes solucions, combinant rigor tècnic amb una visió pràctica que maximitza el retorn de la inversió.
