En el camp de l'aprenentatge profund, la taxa d'aprenentatge continua sent un dels hiperparàmetres més crítics i difícils d'ajustar. Un valor massa alt pot provocar divergència, mentre que un de massa baix alenteix l'entrenament. Tradicionalment, la curvatura de la pèrdua —mesurada a través del major autovalor del Hessià— determina el pas màxim estable que un optimitzador pot fer. No obstant això, calcular aquest autovalor requereix costosos mètodes iteratius com Lanczos o productes Hessià-vector, cosa que el fa poc pràctic en entorns de producció o amb models grans.
Una observació recent, basada en l'algorisme de cerca lineal d'Armijo, ofereix una alternativa sorprenentment senzilla i barata: el pas acceptat per Armijo conté informació directa sobre la curvatura direccional en la direcció del gradient. En concret, el logaritme del pas acceptat es correlaciona fortament (Pearson entre -0,91 i -0,95) amb el logaritme de l'autovalor màxim del Hessià en conjunts com CIFAR-10, Fashion-MNIST i Imagenette. Això significa que una única cerca lineal a l'inici de l'entrenament proporciona una lectura instantània de la 'nitidesa' de la pèrdua, sense necessitat de càlculs addicionals.
Aquesta troballa té una aplicació pràctica immediata: utilitzar-la com a salvaguarda per a l'optimitzador Adam. En lloc de dependre d'una taxa d'aprenentatge fixa i fràgil, podem sondar la curvatura en la inicialització i establir un límit màxim segur. Els experiments mostren que aquesta sonda fa que Adam sigui robust davant de taxes d'aprenentatge inicials que varien en tres ordres de magnitud (des de 10?³ fins a 3,0), amb una sobrecàrrega d'apenas l'1% en temps de càlcul. I el que és més important, quan la taxa ja és segura, la sonda no interfereix; simplement es converteix en una no-operació.
Un aspecte rellevant és que la sonda al llarg de la direcció del gradient funciona, però requereix calibrar un factor de seguretat dependent de l'arquitectura, cosa que s'aconsegueix amb una breu cerca de divergència d'un minut. No obstant això, utilitzant la direcció d'actualització d'Adam (en lloc del gradient pur), un únic factor fix ? = 2 evita la divergència en totes les arquitectures provades i en tots els rangs de taxes d'aprenentatge dels benchmarks avaluats. A més, la recepta es transfereix sense canvis a AdamW, cosa que la fa especialment útil en projectes d'intel·ligència artificial on l'estabilitat de l'entrenament és crítica.
Des d'una perspectiva empresarial, aquest tipus de tècniques permeten reduir el temps d'ajust d'hiperparàmetres i augmentar la reproductibilitat dels models. A Q2BSTUDIO, com a empresa especialitzada en programari a mida, apliquem aquests coneixements per construir solucions d'IA per a empreses que siguin robustes i eficients. La integració de sondes de curvatura direccional en els pipelines d'entrenament és només un exemple de com les aplicacions a mida poden beneficiar-se dels últims avenços en optimització numèrica. A més, combinem aquestes capacitats amb serveis cloud AWS i Azure per escalar els experiments, amb serveis d'intel·ligència de negoci per monitoritzar el rendiment dels models en producció, i amb agents d'IA que automatitzen la presa de decisions basades en mètriques en temps real.
En resum, la capacitat de mesurar la curvatura direccional amb una simple cerca lineal d'Armijo obre la porta a optimitzadors més autònoms i segurs. Per a les organitzacions que busquen implementar intel·ligència artificial de forma eficient, aquesta tècnica representa un avenç pràctic que redueix la dependència d'experts en ajust d'hiperparàmetres i accelera el cicle de desenvolupament. A Q2BSTUDIO, estem compromesos a portar aquestes innovacions als nostres clients, ja sigui a través d'aplicacions a mida, ciberseguretat per protegir els models contra atacs adversaris, o solucions de Power BI que visualitzin l'evolució de la curvatura durant l'entrenament.
