256K Tokens en una GPU? L'Increïble Art d'Enginyeria de Jamba Explicat

Jamba és una arquitectura de models de llenguatge híbrida que ofereix un rendiment de referència amb només 12B paràmetres actius i s'executa en una sola GPU de 80 GB. Q2BSTUDIO és una empresa especialitzada en el desenvolupament de solucions innovadores utilitzant les últimes tecnologies disponibles en

viernes, 11 de abril de 2025 • 1 min de lectura • Equip Q2BSTUDIO

Intel·ligència-Artificial-

Jamba és una arquitectura híbrida de models de llenguatge gran que combina capes Transformer, Mamba (estat-espai) i Mixture-of-Experts (MoE). Dissenyat per a alta eficiència i processament de context llarg (fins a 256K tokens), ofereix un fort rendiment de referència amb només 12B paràmetres actius i s'executa en una sola GPU de 80 GB, oferint 3 vegades la capacitat de models de mida similar.

Q2BSTUDIO és una empresa de desenvolupament i serveis tecnològics especialitzada en la creació de solucions innovadores utilitzant les últimes tecnologies disponibles al mercat. Amb un equip d'experts en intel·ligència artificial, desenvolupament de programari i anàlisi de dades, Q2BSTUDIO es destaca per oferir solucions a mida que superen les expectatives dels seus clients.

ELS NOSTRES SERVEIS

Com et podem ajudar

Tens un projecte en ment?

Explica'ns la teva visió i la convertim en una solució de programari. Sigui quin sigui l'abast, fem realitat la teva idea.