.jpg)
En el món de l'aprenentatge automàtic modern, optimitzar models de llenguatge de gran escala (LLMs) és un repte tant computacional com teòric. Tècniques com GaLore han popularitzat la idea de projectar els gradients en un subespai de rang baix (rank-r) que es recalcula periòdicament, sota la premissa que aquest subespai evoluciona lentament i pot ser rastrejat. Tanmateix, investigacions recents revelen una realitat més complexa: més enllà d'un nucli reproduïble molt petit, no existeix tal subespai estable. La comparació d'estimacions del subespai top-r obtingudes al mateix pas a partir de minibatchs disjunts mostra una discordança gairebé idèntica a la que s'observa entre estimacions separades per T passos, cosa que indica que l'aparent moviment rotacional a cada actualització està dominat per soroll d'estimació, no per una deriva subjacent. Aquest fenomen es replica en múltiples famílies de models, des de 70M fins a 6.9B paràmetres, i s'intensifica amb la mida, afectant també arquitectures de visió. Només una fracció de les direccions del subespai és reproduïble entre minibatchs, i el promitjat no aconsegueix recuperar la resta: la cua espectral del gradient decau com N^{-1/4} en lloc del N^{-1/2} esperat en soroll pur, cosa que impossibilita definir un subespai ben condicionat per més que s'inverteixi en promitjat.
La solució no passa per intentar millorar l'estimació del subespai, sinó per tractar cada actualització com un canvi de coordenades per a l'estat de l'optimitzador. En particular, el transport inercial del moment de segon ordre és subòptim, mentre que el primer moment pot transportar-se exactament mitjançant la rotació. Aquest principi és el que empra LDAdam, un optimitzador que aconsegueix resultats superiors (18.7 de perplexitat en un model d'1B amb 40k passos, enfront de 19.3 de GaLore amb la seva millor configuració fixa). La lliçó fonamental és que la no identificabilitat del subespai (mesurable a través del rang reproduïble k*) explica per què GaLore funciona malgrat suposicions aparentment errònies i, sobretot, quins pegats són efectius i què verificar abans de confiar en una aproximació de rang baix.
Aquesta comprensió té implicacions pràctiques per a qualsevol empresa que desenvolupi o implementi models de llenguatge a gran escala. A Q2BSTUDIO, com a empresa especialitzada en desenvolupament de programari i tecnologia, entenem que l'optimització eficient és clau per a projectes d'intel·ligència artificial. El nostre equip integra aquests avenços en la creació d'aplicacions a mida i solucions d'IA per a empreses, assegurant que els models no només siguin precisos, sinó també sostenibles computacionalment. Per exemple, en dissenyar sistemes d'agents IA o integrar serveis cloud AWS i Azure, considerem el perfil d'optimització més adequat segons l'arquitectura i les dades, evitant suposicions fràgils sobre l'estabilitat del subespai.
A més, en entorns on la ciberseguretat és crítica, com en processament de dades sensibles, els errors d'optimització poden propagar-se a decisions incorrectes. Per això, oferim serveis de pentesting i assegurament de pipelines d'IA. També, per a projectes que requereixen anàlisi de negoci, les nostres solucions d'intel·ligència de negoci amb Power BI integren models predictius que han de ser entrenats amb optimitzadors robustos. La gestió d'infraestructura al núvol, ja sigui amb AWS o Azure, ens permet escalar aquests entrenaments de forma eficient. En definitiva, la investigació sobre la no identificabilitat del subespai ens recorda que en IA no n'hi ha prou amb aplicar tècniques de moda: cal entendre'n els fonaments i adaptar-les al context específic de cada client. A Q2BSTUDIO, oferim programari a mida i consultoria en intel·ligència artificial perquè cada projecte es beneficiï de les innovacions més sòlides, sense comprometre la fiabilitat ni el rendiment.
