Priors estructurales controlan causalmente el retardo del grokking

El fenómeno conocido como grokking ha capturado la atención de la comunidad de inteligencia artificial por su extraña dinámica: un modelo de aprendizaje profundo puede alcanzar la memorización perfecta de los datos de entrenamiento muy pronto, pero la verdadera generalización —la capacidad de resolver ejemplos nunca vistos— aparece mucho después, a veces tras decenas de miles de iteraciones adicionales. Durante mucho tiempo se asumió que ese retardo reflejaba el tiempo necesario para que el modelo desarrollara representaciones internas adecuadas a la estructura de la tarea. Sin embargo, esa hipótesis seguía siendo una observación correlacional. Un estudio reciente ha logrado probarla de manera causal, demostrando que el grokking se acelera, se mantiene o se elimina por completo según el tipo de prior estructural que se inyecte en el proceso de aprendizaje.

Los investigadores diseñaron un experimento con un transformer de una capa entrenado para aprender sumas modulares. Introdujeron una pérdida auxiliar supervisada-contrastiva que forzaba a las representaciones ocultas a alinearse con tres tipos de estructuras diferentes: la estructura verdadera de la tarea (la equivalencia (a+b) mod p), una estructura coherente pero errónea ((a-b) mod p) y una partición aleatoria que solo podía memorizarse. Los resultados fueron contundentes: con la estructura verdadera, el modelo generalizó en 22 de 30 ejecuciones; con la estructura errónea (que compartía las mismas características periódicas pero con combinaciones incorrectas), generalizó en 14 de 15; y con la partición aleatoria, ninguna de las 20 ejecuciones logró generalizar. El control de la norma de los pesos descartó que la magnitud de los parámetros fuera la responsable. Las sondas de representación revelaron que la formación de la estructura interna precede y predice la generalización en todos los casos. Solo la estructura verdadera aceleró el grokking hasta 2,75 veces más rápido que la línea base, aunque con una dependencia de dosis y bimodalidad entre semillas.

Este hallazgo tiene implicaciones profundas para el diseño de sistemas de inteligencia artificial robustos y eficientes. El retardo del grokking no es un artefacto numérico, sino el tiempo que el modelo necesita para descubrir la representación adecuada. Y