La fusió de models de llenguatge de gran escala (LLM) heterogenis ha estat fins ara un desafiament tècnic que exigia arquitectures complexes d'adaptació, destil·lació o alineament semàntic. No obstant això, un estudi recent suggereix que la simple mitjana ponderada, acompanyada d'una adaptació dimensional lleugera i un control acurat de les proporcions, pot constituir una línia base sorprenentment potent. Aquesta troballa no només replanteja els límits de la fusió directa, sinó que obre noves oportunitats per a les empreses que busquen integrar capacitats d'IA als seus processos sense necessitat de costosos reentrenaments.
La investigació analitza dues estratègies principals: la fusió en mode 'unió', on el model més petit s'expandeix a l'espai de paràmetres del més gran, i la fusió en mode 'intersecció', que trunca el model gran a l'espai del petit. Ambdues s'apliquen sense entrenament addicional, utilitzant únicament interpolació controlada per ràtios. Els resultats, obtinguts sobre parells de models de la família Qwen i avaluats en raonament matemàtic, generació de codi, comprensió del llenguatge, sentit comú, coneixement general i seguiment d'instruccions, revelen que l'expansió determinista preserva en gran mesura la funcionalitat del model font, i que petites ràtios d'interpolació poden fins i tot millorar els punts forts originals en transferir capacitats complementàries. No obstant, la interpolació propera a l'equilibri tendeix a col·lapsar el rendiment, i s'observa un efecte balancí: les millores en certes habilitats conviuen amb retrocessos en d'altres.
Per a una empresa de desenvolupament de programari i tecnologia com Q2BSTUDIO, aquest enfocament té implicacions pràctiques immediates. En lloc de dependre de models monolítics o de costosos processos de fine-tuning, és possible combinar LLM especialitzats —un expert en codi, un altre en raonament lògic— mitjançant mitjanes ponderades acuradament ajustades. Això encaixa perfectament amb la filosofia d'aplicacions a mida que l'empresa ofereix als seus clients, permetent integrar capacitats d'IA de manera modular i eficient. A més, la capacitat de mantenir la funcionalitat original sense entrenament addicional redueix els riscos de ciberseguretat, ja que s'evita la manipulació dels pesos del model en entorns productius.
L'arquitectura de la solució proposada recorda els principis dels agents IA que Q2BSTUDIO implementa a les seves plataformes: cada agent pot estar basat en un LLM heterogeni, i la fusió de les seves capacitats s'aconsegueix mitjançant capes d'interpolació en lloc de complexos mecanismes d'enrutament. Això simplifica el desplegament en infraestructures cloud AWS/Azure, on l'escalabilitat i l'eficiència computacional són crítiques. La companyia ja ha experimentat amb mitjanes ponderades en models de fins a 70 mil milions de paràmetres, confirmant que l'adaptació dimensional és viable amb recursos de núvol estàndard.
Des de la perspectiva del BI / Power BI, la capacitat de fusionar models de llenguatge permet generar informes més precisos i contextualitzats. Per exemple, un model fusionat pot combinar un LLM especialitzat en anàlisi financera amb un altre en llenguatge natural, produint dashboards que entenen preguntes complexes sense necessitat de plantilles rígides. Q2BSTUDIO utilitza aquest principi a les seves solucions de Business Intelligence, integrant la fusió heterogènia com un servei més dins de la seva suite d'eines analítiques.
L'efecte balancí observat a l'estudi —on guanyar en raonament matemàtic pot significar perdre en comprensió del llenguatge— no és un obstacle insalvable, sinó una guia per a l'optimització. L'empresa recomana als seus clients definir primer les prioritats funcionals i després ajustar la ràtio d'interpolació mitjançant un procés iteratiu. Eines d'automatització desenvolupades per Q2BSTUDIO permeten executar centenars de proves en paral·lel sobre cloud AWS/Azure, identificant el punt òptim d'equilibri per a cada cas d'ús.
La ciberseguretat també es beneficia d'aquest enfocament. En evitar el reentrenament complet, es redueix la superfície d'atac relacionada amb la injecció de dades malicioses durant el fine-tuning. A més, els models fusionats poden ser auditats amb més facilitat, ja que els seus pesos són combinacions lineals de models ja validats. Q2BSTUDIO integra aquests principis als seus serveis d'intel·ligència artificial oferint a les empreses una capa addicional de confiança.
El futur de la fusió heterogènia passa per explorar adaptacions dimensionals més sofisticades, com projeccions no lineals o barreges dinàmiques segons la tasca. No obstant, el missatge clau de l'estudi és que els mètodes complexos no sempre són necessaris. Per a moltes aplicacions empresarials, una mitjana ponderada ben calibrada pot ser suficient. Q2BSTUDIO ja està incorporant aquesta troballa a la seva oferta d'aplicacions a mida, demostrant que la innovació de vegades resideix en la simplicitat.
En conclusió, la fusió directa de LLM heterogenis mitjançant mitjana ponderada no només és viable, sinó que ofereix una ruta pragmàtica per integrar capacitats diverses en entorns productius. Empreses com Q2BSTUDIO poden aprofitar aquesta tècnica per construir solucions d'IA més flexibles, segures i eficients, alineades amb les necessitats reals del mercat. El repte ara és traslladar aquests resultats a escala industrial, combinant l'adaptació dimensional amb el control fi de ràtios, i monitoritzant sempre l'efecte balancí per garantir que els guanys en unes àrees no comprometin el rendiment global.
