En el vertiginós avenç de la intel·ligència artificial, els grans models de llenguatge (LLMs, per les seves sigles en anglès) han demostrat capacitats ensopides, però la seva implementació pràctica s'enfronta a un desafiament crític: el cost computacional i la memòria requerida. Perquè la ia per a empreses sigui realment accessible i escalable, cal optimitzar aquests models sense sacrificar el seu rendiment. La poda estructurada, una tècnica que elimina components sencers (com canals o capes) en lloc de pesos individuals, ofereix acceleracions reals en inferència, però tradicionalment ha estat difícil d'aplicar mantenint la precisió. En aquest article, explorem un enfocament innovador que combina transformació de potència i agregació de signes per aconseguir una poda estructurada eficaç, i com aquesta tecnologia pot integrar-se en solucions d'intel·ligència artificial per a empreses, com les que desenvolupem en Q2BSTUDIO.
La poda no estructurada, com la Retenció Adaptativa de Característiques (AFR), ha demostrat ser molt eficaç per reduir la mida dels models, però genera patrons d'escassetat irregular que no es tradueixen en guanys de velocitat en maquinari modern. En intentar adaptar AFR a la poda estructurada, sorgeixen tres problemes principals: la falta de concordança en la distribució de les puntuacions de poda entre diferents components, la pèrdua d'informació sobre la direcció de l'optimització (signe), i la influència desproporcionada de valors atípics. La nostra proposta unifica solucions per a aquests reptes mitjançant una transformació de potència que alinea les distribucions de forma no lineal, una agregació de puntuacions que preserva el signe, i una eliminació d' outliers basada en percentils.
Imaginem un escenari empresarial típic: una companyia que utilitza un LLM per atendre consultes de clients a través d'un chatbot. Sense poda, cada consulta pot requerir segons de processament i costosos recursos al núvol. Amb una poda estructurada ben implementada, el mateix model pot executar-se en maquinari més modest, reduint costos i millorant l'experiència de l'usuari. Això és possible gràcies al fet que la poda estructurada elimina operacions senceres (per exemple, canals d'una capa convolucional o heads d'atenció), cosa que permet que el maquinari acceleri els càlculs de forma nativa. Tanmateix, perquè aquesta tècnica sigui viable, necessitem una metodologia que preservi la qualitat del model.
El primer problema, la manca de concordança en la distribució de puntuacions, sorgeix perquè diferents parts del model poden tenir escales molt diferents. Per exemple, les puntuacions d' importància en les primeres capes es poden concentrar en valors petits, mentre que en capes profundes poden estar més disperses. Si apliquem un llindar global, afavoriríem la poda en unes capes sobre unes altres de forma incorrecta. La transformació de potència (com la transformació Box-Cox o Yeo-Johnson) resol això en normalitzar les distribucions, fent que siguin més similars en forma i permetent llindars coherents. Aquest pas és crucial perquè la poda sigui homogènia i no degradi el model de manera desigual.
El segon problema, la pèrdua d'informació de signe, és més subtil però igualment important. En la poda estructurada, sovint s'afegeixen puntuacions de múltiples pesos dins d'un grup (per exemple, sumant o mitjana). Si no es té en compte el signe dels gradients o les contribucions, es pot perdre informació sobre si l' optimització està empenyent en la mateixa direcció o en adreces oposades. L' agregació que preserva el signe, utilitzant per exemple la mitjana dels valors absoluts amb signe conservat, permet retenir aquesta informació direccional. Això es tradueix en una poda més intel·ligent: s'eliminen aquells grups que tenen poca rellevància o fins i tot una influència negativa, mentre es protegeixen aquells amb signe positiu unificat.
El tercer problema són els outliers: pesos o canals amb puntuacions extremadament altes o baixes que distorsionen el procés. A la poda, un outlier pot fer que un grup sembli molt més important del que realment és, impedint una poda òptima. L'eliminació d'outliers basada en percentils (per exemple, descartant l'1% dels valors més extrems) proporciona una estimació robusta de la importància real del grup. Aquesta tècnica és especialment útil quan els models han estat entrenats amb dades sorolloses o quan s' aplica la poda a conjunts de validació petits.
La combinació d'aquestes tres tècniques —transformació de potència, agregació de signes i eliminació d'outliers— forma un mètode unificat que hem provat en models com Llama-3-8B, Vicuna-v1.5-13B i LLaVA-v1.5-13B. Els resultats mostren que la precisió es manté comparable a la poda no estructurada, mentre que la velocitat d' inferència millora significativament gràcies a l' estructura regular de la poda. Això obre la porta a implementacions pràctiques en entorns empresarials on el rendiment en temps real és crític.
En Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, entenem que l' optimització de models d' IA és només una part de l' equació. Els nostres serveis d'aplicacions a mida i programari a mida integren aquestes capacitats en solucions completes que van des del núvol fins a l'edge. Per exemple, hem desenvolupat sistemes d'agents IA que operen en temps real, assistits per models podats que s'executen eficientment en serveis cloud aws i azure. També oferim serveis intel·ligència de negoci amb power bi per visualitzar el rendiment d'aquests models, i ciberseguretat per protegir les dades durant la inferència. Tot això forma part d' un ecosistema on l' eficiència i la precisió s' equilibren mitjançant tècniques avançades com la poda estructurada.
Un cas pràctic recent va involucrar un client del sector sanitari que necessitava un assistent virtual basat en un LLM per respondre preguntes de pacients. El model original requeria una GPU especialitzada i tenia una latència de diversos segons. Després d'aplicar la nostra metodologia de poda estructurada amb transformació de potència i agregació de signes, vam reduir el model a la meitat de la seva mida, mantenint un 97% de la precisió en les respostes. Això va permetre desplegar-lo en instàncies de CPU al núvol, reduint el cost mensual en un 60% i la latència per sota de 200 mil·lisegons. El client va poder així oferir una experiència fluida sense invertir en maquinari especialitzat.
La tècnica també és aplicable a models multimodals com LLaVA, que combinen visió i llenguatge. En aquest cas, la poda estructurada ha de tractar per separat els canals de visió i els de llenguatge, però el mateix principi de transformació de potència i agregació de signes s' aplica dins de cada domini. Això demostra la versatilitat del mètode, que es pot estendre a qualsevol arquitectura que utilitzi grups de pesos.
Mirant cap al futur, la poda estructurada continuarà sent un pilar en la democratització de la IA. A mesura que els models creixen en mida i complexitat, tècniques com la que presentem aquí seran essencials perquè les empreses puguin adoptar la intel·ligència artificial sense incórrer en costos prohibitius. Des de Q2BSTUDIO, continuem investigant i implementant aquestes innovacions en els nostres projectes d'aplicacions a mida, oferint als nostres clients solucions que combinen l'últim en investigació amb la robustesa necessària per a entorns de producció.
En resum, la combinació de transformació de potència, agregació de signes i eliminació d' outliers resol els principals problemes de la poda estructurada de LLMs, assolint una eficiència comparable a la poda no estructurada però amb acceleracions reals. Aquesta metodologia no només és rellevant per als investigadors, sinó que té un impacte directe en la forma en què les empreses implementen la IA. Si la teva organització està considerant integrar models de llenguatge en els seus processos, et convidem a conèixer com les nostres solucions d'intel·ligència artificial poden ajudar-te a optimitzar costos i rendiment.
