En l'actualitat, els models fonamentals estan revolucionant el camp de l'aprenentatge profund, sent l'arquitectura Transformer l'estàndard dominant gràcies al seu mòdul d'atenció. No obstant això, aquesta estructura presenta limitacions en l'eficiència computacional quan es treballa amb seqüències llargues. S'han desenvolupat diverses arquitectures alternatives, com l'atenció lineal, models convolucionals i models d'espai d'estat estructurats (SSMs), però cap ha aconseguit igualar el rendiment dels Transformers en modalitats clau com el llenguatge.
Un dels principals problemes d'aquests models rau en la seva incapacitat per raonar en funció del contingut. Per abordar aquesta deficiència, s'ha optimitzat el disseny dels SSMs incorporant mecanismes de selecció que permeten processar informació de manera més eficient. En primer lloc, s'ha modificat la parametrització dels SSMs perquè depengui de l'entrada, cosa que els permet propagar o descartar informació de manera més eficaç segons el context. A més, s'ha dissenyat un algorisme especialitzat per a maquinari que optimitza l'execució en mode recurrent.
Aquest enfocament ha donat lloc a Mamba, una arquitectura de xarxa neuronal simplificada que no requereix blocs d'atenció ni MLP. Mamba ofereix una inferència ràpida amb un rendiment cinc vegades superior al dels Transformers i una escalabilitat lineal en longitud de seqüència. La seva eficàcia s'ha demostrat amb dades reals de fins a un milió de tokens de longitud.
Com a model base per al processament de seqüències, Mamba ha aconseguit un rendiment líder en diferents aplicacions, incloent llenguatge, àudio i genòmica. En el modelatge de llenguatge, Mamba-3B ha superat a Transformers de mida similar i fins i tot ha igualat el rendiment de Transformers de doble mida. El seu rendiment també ha estat excepcional en la generació d'àudio i en la predicció de seqüències d'ADN.
En Q2BSTUDIO, empresa líder en desenvolupament i serveis tecnològics, seguim de prop aquests avenços en models fonamentals i aprenentatge profund. Amb un enfocament en innovació i optimització computacional, treballem en solucions basades en intel·ligència artificial que aprofiten arquitectures eficients com Mamba per millorar el processament de dades en diversos contextos empresarials i tecnològics.
