La inferencia de modelos de lenguaje de gran escala (LLMs) con contextos extensos presenta uno de los retos de infraestructura más acuciantes: la caché de valores clave (KV cache) crece linealmente con la longitud del contexto, el tamaño del lote y la profundidad del modelo. En escenarios de producción con decenas de peticiones concurrentes y documentos de cientos de miles de tokens, esta caché consume la mayor parte de la memoria GPU, limitando el rendimiento y aumentando los costes operativos. Reducir su huella mediante cuantización es una vía directa, pero llevarla a solo 2 bits ha sido históricamente inviable por la presencia de outliers en los canales de activación que distorsionan los rangos de cuantificación y degradan la calidad de la atención.
El problema fundamental radica en que las técnicas de cuantización convencionales, incluyendo rotaciones ciegas como la transformada de Hadamard, no consideran cómo el mecanismo de atención utiliza realmente los vectores de clave y valor. La rotación, al distribuir la energía de los outliers de forma uniforme, puede funcionar aceptablemente en 4 bits, pero en 2 bits, con solo cuatro niveles representables, la dirección del error de cuantización determina si el modelo conserva su capacidad predictiva. Una solución genuina debe alinear la cuantización con la importancia que la atención asigna a cada dirección, minimizando el impacto en los logits de atención y en la salida ponderada por los scores.
OSCAR, publicado como código abierto por Together AI, aborda esta cuestión mediante un enfoque de rotación espectral consciente de la covarianza. En lugar de usar una transformación fija, deriva las rotaciones para claves y valores a partir de las estadísticas reales de las consultas y de los scores de atención. Para las claves, la matriz de error relevante es la covarianza de las consultas, ya que direcciones con alta energía en las consultas amplifican los errores de cuantización en los logits. Para los valores, la matriz de peso es la covarianza ponderada por los scores, capturando qué direcciones son realmente relevantes tras la agregación de la atención. La rotación final se compone de tres factores: la matriz de autovectores que alinea los canales con las direcciones importantes, la transformada de Hadamard que iguala la importancia residual, y una permutación que asegura que cada grupo de cuantización contenga una muestra equilibrada de todos los niveles de importancia. Este diseño permite alcanzar una precisión cercana a BF16 con solo 2,28 bits por elemento de caché, según las evaluaciones publicadas en benchmarks como AIME25 y GPQA-Diamond, y con aceleraciones de hasta 7,8 veces en rendimiento de lote en contextos de 100K tokens en hardware H100.
La implementación práctica se integra con sistemas de servicio estándar como SGLang, manteniendo la compatibilidad total con atención paginada. La caché se divide en tres regiones: los primeros tokens (sink) y los más recientes se conservan en BF16 para preservar la precisión donde más importa, mientras que el resto de la historia se almacena en INT2 tras la rotación y el recorte de valores atípicos. Los kernels de lectura y escritura están fusionados en Triton, de modo que la rotación inversa y la des cuantización ocurren en un solo paso sin tráfico de memoria adicional. La rotación de valores puede incluso absorberse en los pesos del modelo fuera de línea, eliminando su coste en tiempo de inferencia.
Para las empresas que despliegan modelos de lenguaje a escala, esta capacidad supone un salto cualitativo en eficiencia: permite servir contextos mucho más largos con el mismo hardware, o aumentar significativamente el throughput por GPU. La reducción de la huella de memoria de la caché KV se traduce directamente en menores costes de inferencia y en la posibilidad de abordar aplicaciones que requieren procesar documentos extensos, como la revisión de contratos legales, el análisis de informes financieros o la construcción de agentes conversacionales con memoria prolongada. En este contexto, contar con un socio tecnológico que entienda tanto la infraestructura cloud como la optimización de modelos es clave. Desde Q2BSTUDIO acompañamos a las organizaciones en la definición de soluciones de ia para empresas, integrando modelos de última generación con plataformas de servicios cloud aws y azure para garantizar despliegues fiables y escalables.
Más allá de los LLMs, la filosofía de OSCAR refleja una tendencia más amplia en el desarrollo de software: la necesidad de personalizar las técnicas de compresión y optimización según las características del problema. Esta aproximación es análoga a lo que ofrecemos en el desarrollo de aplicaciones a medida y software a medida, donde cada solución se adapta a los flujos de trabajo específicos del cliente. Ya sea implementando agentes IA que operen sobre grandes volúmenes de datos, diseñando paneles de power bi para monitorizar el rendimiento del modelo en producción, o reforzando la ciberseguridad de los pipelines de inferencia, nuestro equipo combina conocimiento técnico profundo con una visión práctica de negocio. La cuantización consciente de la atención es solo un ejemplo de cómo la ingeniería de software de alto nivel puede convertir un desafío teórico en una ventaja competitiva tangible para las empresas que apuestan por la inteligencia artificial.
Together AI publica como código abierto OSCAR: un sistema de cuantización de caché KV de 2 bits consciente de la atención para el servicio de LLM de contexto largo.
<meta name=description content=Together AI presenta OSCAR, cuantización de caché KV en 2 bits para LLMs de contexto largo. Reduce memoria y acelera inferencia. Descubre cómo optimiza modelos de lenguaje.>
¿UNA PAUSA?
Juega un momento antes de irte
NUESTROS SERVICIOS
Cómo podemos ayudarte
Inteligencia artificial
Agentes de IA, chatbots y asistentes inteligentes que automatizan tareas y atienden a tus clientes 24/7 para mejorar la eficiencia de tu negocio.
Más info →Desarrollo de software
Aplicaciones web, móviles y de escritorio, intranets, e-commerce, SaaS y plataformas de gestión diseñadas para las necesidades concretas de tu empresa.
Más info →Servicios cloud
Migración, infraestructura, hosting gestionado, alta disponibilidad y seguridad en Microsoft Azure y Amazon Web Services para que tu negocio escale sin límites.
Más info →Ciberseguridad y pentesting
Auditorías de seguridad, test de intrusión (pentesting) y protección de aplicaciones, datos e infraestructura on-premise y cloud, con hacking ético y cumplimiento normativo.
Más info →Business Intelligence
Cuadros de mando y análisis de datos con Power BI: integramos tus fuentes, diseñamos dashboards y KPIs y convertimos tus datos en decisiones.
Más info →Automatización de procesos
Automatizamos tareas repetitivas y conectamos tus aplicaciones con n8n, Power Automate, Make y RPA, eliminando trabajo manual y aumentando la productividad.
Más info →Formación para empresas
Formamos a tus equipos en tecnología con criterio: desarrollo web, bases de datos, Git, buenas prácticas y seguridad, automatización con n8n, inteligencia artificial para empresas y creación de soluciones de IA con Azure AI Foundry.
Más info →Auditoría de código
Auditamos el código que creas tú, tu equipo o una IA: te decimos qué está bien y qué mejorar, lo securizamos y lo dejamos listo para producción, web o app.
Más info →Generación de imágenes con IA
Creamos por ti las imágenes que necesita tu negocio con inteligencia artificial: producto, redes, publicidad, ilustración y avatares. Tú nos dices qué quieres y te lo entregamos listo para usar.
Más info →Generación de vídeos con IA
Creamos por ti vídeos con inteligencia artificial: promocionales, para redes, presentadores virtuales, doblaje y animaciones. Nos cuentas la idea y te lo entregamos montado y listo para publicar.
Más info →Avatares conversacionales con IA
Creamos avatares conversacionales con IA —humanos digitales con cara y voz— que atienden a tus clientes y equipos con el conocimiento de tu empresa, en tu web, monitores interactivos, WhatsApp o Teams.
Más info →Marketing Online e IA
Google Ads, Meta Ads, LinkedIn Ads y posicionamiento en motores de IA (GEO/AEO): captamos clientes y hacemos que tu marca aparezca donde te buscan, también en ChatGPT, Gemini y Perplexity.
Más info →
.jpg)
.jpg)
¿Tienes un proyecto en mente?
Cuéntanos tu visión y la convertimos en una solución de software. Sea cual sea el alcance, hacemos realidad tu idea.