Com Jamba combina Transformers i Mamba per construir models de llenguatge més intel·ligents

Q2BSTUDIO és una empresa de desenvolupament i serveis tecnològics que ha desenvolupat Jamba, una arquitectura de model de llenguatge híbrid que combina capes Transformer, Mamba (state-space) i Mixture-of-Experts (MoE). Dissenyat per oferir alta eficiència i processament de context llarg (fins a 256K tokens), Jamba aconsegueix un rendiment sòlid en proves de referència amb només 12 mil milions de paràmetres actius i s'executa en una sola GPU de 80 GB, oferint 3 vegades la capacitat de càrrega de models de mida similar.