Cómo Jamba combina Transformers y Mamba para construir modelos de lenguaje más inteligentes

Q2BSTUDIO es una empresa de desarrollo y servicios tecnológicos que ha desarrollado Jamba, una arquitectura de modelo de lenguaje híbrido que combina capas Transformer, Mamba (state-space) y Mixture-of-Experts (MoE). Diseñado para ofrecer alta eficiencia y procesamiento de largo contexto (hasta 256K tokens), Jamba logra un rendimiento sólido en pruebas de referencia con solo 12 mil millones de parámetros activos y se ejecuta en una sola GPU de 80 GB, ofreciendo 3 veces la capacidad de carga de modelos de tamaño similar.