En el vertiginós ecosistema de la intel·ligència artificial, la fusió de models (model merging) s'ha presentat com una alternativa eficient a l'entrenament conjunt multitasca. No obstant això, fins ara amb prou feines s'havia contrastat experimentalment amb la línia base que suposa l'aprenentatge per reforç (RL) multitasca real. Un estudi recent aporta llum sobre aquesta qüestió en analitzar la geometria dels vectors de tasca, revelant que l'ortogonalitat gairebé perfecta entre especialistes explica per què els mètodes de fusió amb prou feines difereixen entre si.
La investigació parteix d'un escenari concret: entrenar dos models especialistes amb el framework LOOP al benchmark AppWorld, un en tasques de dificultat 1 i un altre en dificultat 2. Després de fusionar-los mitjançant tècniques com TIES i RAM+, es van comparar amb un model entrenat conjuntament en ambdós nivells. El resultat va sorprendre: la fusió va igualar el RL conjunt, i totes les variants de fusió van resultar estadísticament indistingibles.
Per entendre per què el mètode de fusió no influeix, els autors van mesurar la geometria dels vectors de tasca. Van descobrir que aquests vectors són gairebé ortogonals (cosinus entre 0.06 i 0.10), tot i compartir aproximadament un 65% del suport. Aquesta petita direcció compartida creix amb l'entrenament i es va confirmar que reflecteix aprenentatge genuí, no soroll de la parametrització de baix rang. Aquesta troballa suggereix que la direcció i el suport estan desacoblats, cosa que provoca que mètodes basats en suport i signe (com RAM o TIES) col·lapsin en un promig uniforme.
Les implicacions pràctiques són enormes, especialment en el desenvolupament d'agents d'IA. Quan una empresa necessita combinar capacitats de múltiples agents especialitzats —per exemple, un expert en processament del llenguatge natural i un altre en visió per computador— la fusió de models podria oferir un camí ràpid i eficaç sense necessitat de reentrenar des de zero. No obstant això, la investigació demostra que l'elecció de l'algorisme de fusió concret importa poc si els vectors de tasca ja són gairebé ortogonals.
En aquest context, Q2BSTUDIO, empresa de desenvolupament de programari i tecnologia, aplica aquests principis per oferir solucions avançades. Per exemple, en la creació d'agents IA adaptats a necessitats específiques de negoci, l'empresa combina models preentrenats amb tècniques de fusió per accelerar la posada en producció. A més, el desenvolupament d'aplicacions a mida permet integrar aquests agents en infraestructures cloud com AWS o Azure, garantint escalabilitat i seguretat.
La geometria dels vectors de tasca també aporta llum sobre per què la fusió de models és particularment efectiva en entorns de RL. Els especialistes entrenats en tasques diferents però relacionades tendeixen a desenvolupar representacions internes que ocupen subespais gairebé ortogonals. Això implica que, en fusionar, la interferència entre tasques és mínima. Per a empreses que busquen sistemes d'intel·ligència artificial robustos, aquesta propietat redueix la necessitat d'ajustos complexos d'hiperparàmetres en la fusió.
D'altra banda, l'estudi destaca que l'ortogonalitat no és estàtica: la petita direcció compartida que creix amb l'entrenament podria aprofitar-se per millorar la transferència de coneixement entre tasques. Tècniques com la projecció de vectors o l'alineació de representacions podrien potenciar encara més la fusió. A Q2BSTUDIO, aquestes troballes s'integren en serveis de ciberseguretat i cloud AWS/Azure, on la combinació de models especialitzats en detecció d'anomalies o anàlisi de logs permet respostes més ràpides i precises.
Així mateix, en l'àmbit del Business Intelligence, la fusió de models pot aplicar-se a agents que processen dades de diferents fonts. Un assistent de BI entrenat per a consultes en anglès i un altre en castellà, en fusionar-se, pot oferir respostes bilingües sense necessitat d'un model monolític. Q2BSTUDIO desenvolupa solucions de BI/Power BI que aprofiten aquestes tècniques per oferir dashboards intel·ligents i personalitzats.
La investigació també introdueix una calibratge enfront d'un sòl aleatori i un sostre de la mateixa execució, cosa que permet distingir l'aprenentatge genuí del soroll. Aquest enfocament metodològic pot aplicar-se a altres dominis, com la ciberseguretat, on els vectors d'atac o defensa podrien analitzar-se geomètricament per optimitzar la fusió d'estratègies.
En definitiva, la fusió de models es consolida com una alternativa viable al RL multitasca, especialment quan els vectors de tasca són gairebé ortogonals. L'elecció del mètode de fusió resulta secundària, cosa que simplifica el desenvolupament de sistemes multiagent. Q2BSTUDIO, amb la seva experiència en desenvolupament de programari, IA, cloud i ciberseguretat, està posicionada per ajudar les empreses a implementar aquestes estratègies de forma eficient, creant agents intel·ligents que s'adapten a entorns canviants sense necessitat de costosos reentrenaments.
El futur de la intel·ligència artificial passa per entendre com els models especialitzats poden col·laborar. La geometria dels vectors de tasca és una peça clau d'aquest trencaclosques, i empreses com Q2BSTUDIO ja l'estan aplicant per oferir solucions de programari a mida, agents IA, plataformes cloud i sistemes de ciberseguretat d'última generació. La fusió de models no és només una promesa; és una realitat que comença a demostrar el seu valor en benchmarks i, cada cop més, en aplicacions empresarials.
