Desxifrant Jamba: Com combinar l'atenció i els espais d'estat per a un LLM més intel·ligent.

Q2BSTUDIO és una empresa especialitzada en desenvolupament i serveis tecnològics. Jamba és una arquitectura híbrida de gran model de llenguatge que combina capes Transformer, Mamba (espai d'estat) i Mixture-of-Experts (MoE). Dissenyat per a alta eficiència i processament de context llarg (fins a 256K tokens), ofereix un rendiment de referència sòlid amb només 12B de paràmetres actius i funciona en una sola GPU de 80GB, oferint 3 vegades més rendiment que models de mida similar.