Q2B STUDIO

Together AI publica como código abierto OSCAR: un sistema de cuantización de caché KV de 2 bits consciente de la atención para el servicio de LLM de contexto largo.

<meta name=description content=Together AI presenta OSCAR, cuantización de caché KV en 2 bits para LLMs de contexto largo. Reduce memoria y acelera inferencia. Descubre cómo optimiza modelos de lenguaje.>

26 may 2026 • 4 min de lectura • Equip Q2BSTUDIO

Together AI lanza OSCAR: cuantización de caché KV en 2 bits para LLMs de contexto largo
La inferencia de modelos de lenguaje de gran escala (LLMs) con contextos extensos presenta uno de los retos de infraestructura más acuciantes: la caché de valores clave (KV cache) crece linealmente con la longitud del contexto, el tamaño del lote y la profundidad del modelo. En escenarios de producción con decenas de peticiones concurrentes y documentos de cientos de miles de tokens, esta caché consume la mayor parte de la memoria GPU, limitando el rendimiento y aumentando los costes operativos. Reducir su huella mediante cuantización es una vía directa, pero llevarla a solo 2 bits ha sido históricamente inviable por la presencia de outliers en los canales de activación que distorsionan los rangos de cuantificación y degradan la calidad de la atención. El problema fundamental radica en que las técnicas de cuantización convencionales, incluyendo rotaciones ciegas como la transformada de Hadamard, no consideran cómo el mecanismo de atención utiliza realmente los vectores de clave y valor. La rotación, al distribuir la energía de los outliers de forma uniforme, puede funcionar aceptablemente en 4 bits, pero en 2 bits, con solo cuatro niveles representables, la dirección del error de cuantización determina si el modelo conserva su capacidad predictiva. Una solución genuina debe alinear la cuantización con la importancia que la atención asigna a cada dirección, minimizando el impacto en los logits de atención y en la salida ponderada por los scores. OSCAR, publicado como código abierto por Together AI, aborda esta cuestión mediante un enfoque de rotación espectral consciente de la covarianza. En lugar de usar una transformación fija, deriva las rotaciones para claves y valores a partir de las estadísticas reales de las consultas y de los scores de atención. Para las claves, la matriz de error relevante es la covarianza de las consultas, ya que direcciones con alta energía en las consultas amplifican los errores de cuantización en los logits. Para los valores, la matriz de peso es la covarianza ponderada por los scores, capturando qué direcciones son realmente relevantes tras la agregación de la atención. La rotación final se compone de tres factores: la matriz de autovectores que alinea los canales con las direcciones importantes, la transformada de Hadamard que iguala la importancia residual, y una permutación que asegura que cada grupo de cuantización contenga una muestra equilibrada de todos los niveles de importancia. Este diseño permite alcanzar una precisión cercana a BF16 con solo 2,28 bits por elemento de caché, según las evaluaciones publicadas en benchmarks como AIME25 y GPQA-Diamond, y con aceleraciones de hasta 7,8 veces en rendimiento de lote en contextos de 100K tokens en hardware H100. La implementación práctica se integra con sistemas de servicio estándar como SGLang, manteniendo la compatibilidad total con atención paginada. La caché se divide en tres regiones: los primeros tokens (sink) y los más recientes se conservan en BF16 para preservar la precisión donde más importa, mientras que el resto de la historia se almacena en INT2 tras la rotación y el recorte de valores atípicos. Los kernels de lectura y escritura están fusionados en Triton, de modo que la rotación inversa y la des cuantización ocurren en un solo paso sin tráfico de memoria adicional. La rotación de valores puede incluso absorberse en los pesos del modelo fuera de línea, eliminando su coste en tiempo de inferencia. Para las empresas que despliegan modelos de lenguaje a escala, esta capacidad supone un salto cualitativo en eficiencia: permite servir contextos mucho más largos con el mismo hardware, o aumentar significativamente el throughput por GPU. La reducción de la huella de memoria de la caché KV se traduce directamente en menores costes de inferencia y en la posibilidad de abordar aplicaciones que requieren procesar documentos extensos, como la revisión de contratos legales, el análisis de informes financieros o la construcción de agentes conversacionales con memoria prolongada. En este contexto, contar con un socio tecnológico que entienda tanto la infraestructura cloud como la optimización de modelos es clave. Desde Q2BSTUDIO acompañamos a las organizaciones en la definición de soluciones de ia para empresas, integrando modelos de última generación con plataformas de servicios cloud aws y azure para garantizar despliegues fiables y escalables. Más allá de los LLMs, la filosofía de OSCAR refleja una tendencia más amplia en el desarrollo de software: la necesidad de personalizar las técnicas de compresión y optimización según las características del problema. Esta aproximación es análoga a lo que ofrecemos en el desarrollo de aplicaciones a medida y software a medida, donde cada solución se adapta a los flujos de trabajo específicos del cliente. Ya sea implementando agentes IA que operen sobre grandes volúmenes de datos, diseñando paneles de power bi para monitorizar el rendimiento del modelo en producción, o reforzando la ciberseguridad de los pipelines de inferencia, nuestro equipo combina conocimiento técnico profundo con una visión práctica de negocio. La cuantización consciente de la atención es solo un ejemplo de cómo la ingeniería de software de alto nivel puede convertir un desafío teórico en una ventaja competitiva tangible para las empresas que apuestan por la inteligencia artificial.

UNA PAUSA?

Juga una estona abans de marxar

ELS NOSTRES SERVEIS

Com et podem ajudar

CONTINUA LLEGINT

Articles relacionats

Tens un projecte en ment?

Explica'ns la teva visió i la convertim en una solució de programari. Sigui quin sigui l'abast, fem realitat la teva idea.

Explica'ns la teva visióParlem per WhatsApp