Arquitectura de Jamba: Capas Mamba, MoE y el Futuro de los Modelos de IA

La arquitectura Jamba es un modelo de lenguaje híbrido que combina capas de Transformer, Mamba (estado espacial) y Mixture-of-Experts (MoE). Diseñado para ser altamente eficiente y procesar contextos largos (hasta 256K tokens), ofrece un rendimiento destacado en evaluaciones comparativas con solo 12B de parámetros activos y funciona en una sola GPU de 80GB, proporcionando una capacidad 3 veces mayor que modelos de tamaño similar.