TriRoute: optimització conjunta d'atenció, experts i memòria cau KV
L'eficiència dels grans models de llenguatge s'ha convertit en un factor estratègic per a qualsevol organització que vulgui desplegar intel·ligència artificial a escala. El cost per token no és fix: depèn de decisions internes d'arquitectura que determinen quina atenció es calcula, quins experts s'activen i amb quina precisió s'emmagatzema la memòria cau KV. Durant els últims anys, aquestes decisions s'han optimitzat per separat, però hi ha una oportunitat important en tractar-les com un únic problema de coordinació.
El còmput condicional ha demostrat que no tots els tokens necessiten la mateixa quantitat de recursos. Alguns models només activen un subconjunt de neurones del bloc feed-forward mitjançant Mixture-of-Experts, altres salten capes senceres amb Mixture-of-Depths, i altres redueixen la memòria d'atenció quantitzant la memòria cau KV. Cada tècnica per separat millora alguna mètrica, però ignora que aquestes tres dimensions estan acoblades: un token poc freqüent que requereix atenció completa probablement també necessita una memòria cau d'alta precisió, i aquesta necessitat no depèn de l'expert que el processi.
La proposta conceptual de TriRoute parteix d'una idea senzilla: en lloc d'aplicar tres optimitzacions independents, un únic controlador lleuger ha d'emetre una política coordinada per a cada token i per a cada capa. Aquesta política combina tres decisions. Primer, el mode d'atenció, que pot ser saltar l'atenció, utilitzar una finestra local o calcular l'atenció completa. Segon, la selecció d'un conjunt dispers d'experts a la capa feed-forward, incloent la possibilitat d'un expert nul que equival a no processar aquesta subcapa. Tercer, l'amplada de bits de la memòria cau KV, que defineix quanta memòria es reserva per a les claus i els valors d'atenció.
Aquesta visió conjunta és especialment rellevant en aplicacions reals. Una plataforma d'atenció al client, per exemple, rep missatges que esmenten noms de productes, codis d'error i dades concretes d'un compte. Aquests tokens són rars al corpus global, però són crítics per oferir una resposta correcta. Si el sistema decideix estalviar recursos en atenció, en experts i en memòria de manera independent, pot degradar justament els casos que més importen. TriRoute aborda aquest problema alineant la decisió d'atendre, la de computar i la de recordar.
L'elecció de l'amplada de bits de la memòria cau KV sovint es veu com un detall de compressió, però té conseqüències directes sobre la qualitat de les respostes. Una memòria cau amb menys bits estalvia memòria, però perd informació sobre tokens anteriors. Combinada amb atenció completa i experts més capaços, aquesta pèrdua pot ser assumible; combinada amb atenció local i pocs experts, multiplica l'error. Per això, la decisió de la memòria cau KV s'ha de prendre en el mateix context que les altres dues.
Des del punt de vista de l'entrenament, el controlador s'integra de cap a cap mitjançant una relaxació heterogènia. Les decisions categòriques s'aproximen amb Gumbel-Softmax i estimació directa, mentre que la selecció d'experts utilitza un mecanisme top-k amb balanceig de càrrega. Sobre el conjunt de decisions s'aplica una restricció lagrangiana de pressupost, cosa que converteix el cost mitjà de còmput i memòria en una perilla configurable. Això significa que una organització pot ajustar l'equilibri entre qualitat i velocitat segons el cas d'ús, sense necessitat de redissenyar el model complet.
Una de les troballes més interessants és l'aparició d'una cascada de col·lapse d'encaminament quan s'entrena el model conjunt de manera ingènua. Si un eix col·lapsa, per exemple si tots els tokens trien atenció local, els altres eixos també tendeixen a degradar-se. Per evitar-ho, l'arquitectura aplica normalització per eix i una pèrdua de balanceig sensible a l'acoblament. Aquesta correcció no és un detall menor: és la diferència entre un sistema aparentment coordinat i un que realment coordina les seves decisions.
Els resultats experimentals mostren que una política conjunta supera la combinació independent de MoD, MoE i quantització de la memòria cau KV en models d'entre 160 milions i 1.300 milions de paràmetres, amb un pressupost de còmput òptim. L'avantatge es manté en comparar amb el mateix cost d'inferència i memòria, i es fa més evident en casos de cua: entitats poc freqüents, fragments de codi i operacions aritmètiques. L'optimització exclusiva de perplexitat tendeix a erosionar aquests casos, mentre que TriRoute preserva millor la robustesa en situacions extremes.
Una altra implicació rellevant és la relació entre aquesta arquitectura i els agents d'IA. Un agent que interactua amb eines externes necessita processar seqüències llargues, recordar informació de passos anteriors i respondre ràpidament. Si cada crida al model consumeix massa recursos, l'experiència d'usuari se'n ressent. L'optimització conjunta permet que els agents mantinguin una memòria de treball de qualitat en els punts crítics i redueixin la despesa en tokens redundants.
A Q2BSTUDIO, empresa de desenvolupament de programari i tecnologia, veiem aquesta línia de treball com un pas natural cap a sistemes d'IA més eficients i desplegables en entorns reals de producció. La distància entre un experiment acadèmic i una aplicació empresarial és enorme: cal gestionar latència, memòria, costos i qualitat al mateix temps. Per això, quan una companyia necessita aplicacions a mida, no busca únicament un model de llenguatge: busca un sistema complet que integri inferència, orquestració i observabilitat.
Les arquitectures d'inferència eficient encaixen de manera natural en projectes núvol AWS/Azure. En aquests entorns, el cost de còmput és directament proporcional als recursos consumits, per la qual cosa reduir operacions per token té un impacte clar en la factura. A més, el desplegament d'aquest tipus de solucions requereix una visió integral: auditories de ciberseguretat per protegir les dades que travessen el sistema, quadres de comandament amb BI/Power BI per mesurar el retorn i agents d'IA capaços d'operar amb pressupostos ajustats.
TriRoute no és una recepta tancada, sinó una direcció de disseny. La clau és entendre que atenció, selecció d'experts i memòria cau KV formen part d'un mateix pressupost de recursos. Qui aconsegueixi coordinar aquestes tres palanques podrà oferir models més ràpids, més barats i més fiables. A Q2BSTUDIO acompanyem les organitzacions en aquest camí, combinant coneixement tècnic, experiència en desenvolupament de programari i una visió pràctica de negoci.
