La intel·ligència artificial avança a passes de gegant, i cada nou model porta promeses d'eficiència i rendiment. El consorci alemany Soofi ha presentat recentment el model Soofi S 30B-A3B, un foundation model obert, híbrid entre Mamba i Transformer, dissenyat específicament per a alemany i anglès. Amb 31.6 mil milions de paràmetres totals, dels quals només 3.2 mil milions s'activen per token, aquest model marca una fita en eficiència computacional. En un món on la sobirania digital és cada vegada més rellevant, Soofi S es posiciona com una alternativa robusta per a empreses que busquen processar llenguatge natural en contextos bilingües.
L'arquitectura del model combina 52 capes en total: 23 capes de mescla de seqüència Mamba-2, 23 capes MoE (Mixture of Experts) granulars i 6 capes d'atenció de consultes agrupades (GQA). Només aquestes darreres mantenen una memòria cau KV, cosa que redueix dràsticament els requisits de memòria durant la inferència. Cada capa MoE alberga 128 experts enrutats, n'activa 6 per token, més 2 experts compartits. Aquesta configuració permet que Soofi S ofereixi un rendiment comparable al de models densos molt més grans, però amb un cost computacional significativament menor. El disseny es basa en l'esquema de referència Nemotron 3 Nano sense modificacions, garantint compatibilitat amb stacks com vLLM i facilitant el seu desplegament en producció.
L'entrenament es va dur a terme en tres fases, consumint aproximadament 26.68 bilions de tokens. A la Fase 1 es van processar 20 bilions de tokens amb una mescla diversa i de qualitat escalonada. La Fase 2 va utilitzar 6.58 bilions de tokens d'alta qualitat (annealing), i la Fase 3 va estendre la finestra de context fins a 1 milió de tokens. El percentatge de dades en alemany va augmentar del 7.2% a la Fase 1 al 15.32% a la Fase 2, cosa que explica l'excel·lent rendiment del model en aquesta llengua. L'entrenament es va realitzar al núvol industrial de Deutsche Telekom a Múnic, utilitzant fins a 512 GPUs NVIDIA B200 entre març i maig de 2026, consumint al voltant de 253,000 hores de GPU.
Pel que fa al rendiment, Soofi S supera altres models oberts en agregats d'anglès (70.1%) i alemany (79.1%), segons avaluacions amb el pipeline lm-evaluation-harness. En tasques específiques com HumanEval (73.8% pass@1) o GSM8K (86.1%), demostra una capacitat notable tant en raonament matemàtic com en generació de codi. Per a les empreses que treballen amb documentació legal o tècnica en alemany, puntuacions com GLP-DE (88.8%) i INCLUDE-DE (61.2%) són especialment rellevants. Això obre la porta a aplicacions d'anàlisi de pòlisses d'assegurances, contractes o informes regulatoris.
Des d'una perspectiva empresarial, models com Soofi S representen una oportunitat per desenvolupar aplicacions a mida que integrin intel·ligència artificial d'última generació. A Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, entenem que la clau no rau només en el model, sinó en com s'integra en els fluxos de treball existents. La combinació d'aquest tipus de models amb serveis d'IA personalitzats permet a les organitzacions automatitzar processos, millorar l'atenció al client mitjançant agents IA bilingües i extreure coneixement de grans volums de text. A més, l'eficiència de Soofi S en contextos llargs el fa ideal per a sistemes RAG (Retrieval Augmented Generation) en suport tècnic o bases de coneixement corporatives.
La ciberseguretat també juga un paper fonamental en implementar aquests models. En tractar-se d'un model obert, les empreses poden allotjar-lo a la seva pròpia infraestructura al núvol (AWS o Azure) sense dependre de tercers, garantint la privacitat de les dades. Q2BSTUDIO ofereix serveis de ciberseguretat i consultoria per assegurar que aquests desplegaments compleixin amb els estàndards més exigents. Així mateix, la capacitat nativa de Soofi S per gestionar alemany i anglès el posiciona com una eina valuosa per a empreses amb operacions en ambdós idiomes, permetent desenvolupar solucions de Business Intelligence (BI) amb Power BI que analitzin text multilingüe i proporcionin insights accionables.
En l'àmbit de l'automatització, els agents IA basats en Soofi S poden gestionar tasques complexes com la redacció de correus, la classificació de documents o la generació d'informes tècnics. La flexibilitat del model, en ser un base model sense ajust per instruccions, permet als equips de dades refinar-lo amb dades pròpies per a dominis específics. Q2BSTUDIO acompanya els seus clients en tot el cicle de vida del projecte, des de la selecció del model fins a la posada en producció, incloent la integració amb serveis al núvol d'AWS o Azure per escalar sota demanda.
En resum, Soofi S 30B-A3B no és només un avenç tècnic; és una eina pràctica per a empreses que busquen innovar amb IA de forma sobirana i eficient. La seva arquitectura híbrida Mamba-Transformer MoE demostra que és possible combinar rendiment i baix cost computacional. Amb el suport de socis tecnològics com Q2BSTUDIO, les organitzacions poden transformar aquest potencial en solucions reals que millorin la productivitat, la seguretat i la presa de decisions.
