La inferencia de modelos de lenguaje de gran escala (LLMs) con contextos extensos presenta uno de los retos de infraestructura más acuciantes: la caché de valores clave (KV cache) crece linealmente con la longitud del contexto, el tamaño del lote y la profundidad del modelo. En escenarios de producción con decenas de peticiones concurrentes y documentos de cientos de miles de tokens, esta caché consume la mayor parte de la memoria GPU, limitando el rendimiento y aumentando los costes operativos. Reducir su huella mediante cuantización es una vía directa, pero llevarla a solo 2 bits ha sido históricamente inviable por la presencia de outliers en los canales de activación que distorsionan los rangos de cuantificación y degradan la calidad de la atención.
El problema fundamental radica en que las técnicas de cuantización convencionales, incluyendo rotaciones ciegas como la transformada de Hadamard, no consideran cómo el mecanismo de atención utiliza realmente los vectores de clave y valor. La rotación, al distribuir la energía de los outliers de forma uniforme, puede funcionar aceptablemente en 4 bits, pero en 2 bits, con solo cuatro niveles representables, la dirección del error de cuantización determina si el modelo conserva su capacidad predictiva. Una solución genuina debe alinear la cuantización con la importancia que la atención asigna a cada dirección, minimizando el impacto en los logits de atención y en la salida ponderada por los scores.
OSCAR, publicado como código abierto por Together AI, aborda esta cuestión mediante un enfoque de rotación espectral consciente de la covarianza. En lugar de usar una transformación fija, deriva las rotaciones para claves y valores a partir de las estadísticas reales de las consultas y de los scores de atención. Para las claves, la matriz de error relevante es la covarianza de las consultas, ya que direcciones con alta energía en las consultas amplifican los errores de cuantización en los logits. Para los valores, la matriz de peso es la covarianza ponderada por los scores, capturando qué direcciones son realmente relevantes tras la agregación de la atención. La rotación final se compone de tres factores: la matriz de autovectores que alinea los canales con las direcciones importantes, la transformada de Hadamard que iguala la importancia residual, y una permutación que asegura que cada grupo de cuantización contenga una muestra equilibrada de todos los niveles de importancia. Este diseño permite alcanzar una precisión cercana a BF16 con solo 2,28 bits por elemento de caché, según las evaluaciones publicadas en benchmarks como AIME25 y GPQA-Diamond, y con aceleraciones de hasta 7,8 veces en rendimiento de lote en contextos de 100K tokens en hardware H100.
La implementación práctica se integra con sistemas de servicio estándar como SGLang, manteniendo la compatibilidad total con atención paginada. La caché se divide en tres regiones: los primeros tokens (sink) y los más recientes se conservan en BF16 para preservar la precisión donde más importa, mientras que el resto de la historia se almacena en INT2 tras la rotación y el recorte de valores atípicos. Los kernels de lectura y escritura están fusionados en Triton, de modo que la rotación inversa y la des cuantización ocurren en un solo paso sin tráfico de memoria adicional. La rotación de valores puede incluso absorberse en los pesos del modelo fuera de línea, eliminando su coste en tiempo de inferencia.
Para las empresas que despliegan modelos de lenguaje a escala, esta capacidad supone un salto cualitativo en eficiencia: permite servir contextos mucho más largos con el mismo hardware, o aumentar significativamente el throughput por GPU. La reducción de la huella de memoria de la caché KV se traduce directamente en menores costes de inferencia y en la posibilidad de abordar aplicaciones que requieren procesar documentos extensos, como la revisión de contratos legales, el análisis de informes financieros o la construcción de agentes conversacionales con memoria prolongada. En este contexto, contar con un socio tecnológico que entienda tanto la infraestructura cloud como la optimización de modelos es clave. Desde Q2BSTUDIO acompañamos a las organizaciones en la definición de soluciones de ia para empresas, integrando modelos de última generación con plataformas de servicios cloud aws y azure para garantizar despliegues fiables y escalables.
Más allá de los LLMs, la filosofía de OSCAR refleja una tendencia más amplia en el desarrollo de software: la necesidad de personalizar las técnicas de compresión y optimización según las características del problema. Esta aproximación es análoga a lo que ofrecemos en el desarrollo de aplicaciones a medida y software a medida, donde cada solución se adapta a los flujos de trabajo específicos del cliente. Ya sea implementando agentes IA que operen sobre grandes volúmenes de datos, diseñando paneles de power bi para monitorizar el rendimiento del modelo en producción, o reforzando la ciberseguridad de los pipelines de inferencia, nuestro equipo combina conocimiento técnico profundo con una visión práctica de negocio. La cuantización consciente de la atención es solo un ejemplo de cómo la ingeniería de software de alto nivel puede convertir un desafío teórico en una ventaja competitiva tangible para las empresas que apuestan por la inteligencia artificial.
Together AI publica como código abierto OSCAR: un sistema de cuantización de caché KV de 2 bits consciente de la atención para el servicio de LLM de contexto largo.
<meta name=description content=Together AI presenta OSCAR, cuantización de caché KV en 2 bits para LLMs de contexto largo. Reduce memoria y acelera inferencia. Descubre cómo optimiza modelos de lenguaje.>
A BREAK?
Play for a moment before you go
OUR SERVICES
How we can help you
Artificial intelligence
AI agents, chatbots, and intelligent assistants that automate tasks and serve your customers 24/7 to improve the efficiency of your business.
More info →Software Development
Web, mobile, and desktop applications, intranets, e-commerce, SaaS, and management platforms designed for your company's specific needs.
More info →Cloud services
Migration, infrastructure, managed hosting, high availability, and security on Microsoft Azure and Amazon Web Services to help your business scale without limits.
More info →Cybersecurity and pentesting
Security audits, penetration testing and protection of applications, data and infrastructure on-premise and cloud, with ethical hacking and regulatory compliance.
More info →Business Intelligence
Dashboards and data analysis with Power BI: we integrate your sources, design dashboards and KPIs and turn your data into decisions.
More info →Process automation
We automate repetitive tasks and connect your applications with n8n, Power Automate, Make, and RPA, eliminating manual work and increasing productivity.
More info →Training for Companies
We train your teams in technology with criteria: web development, databases, Git, best practices and security, automation with n8n, artificial intelligence for companies and creation of AI solutions with Azure AI Foundry.
More info →Code Auditing
We audit the code that you, your team or an AI create: we tell you what is good and what to improve, we secure it and make it ready for production, web or app.
More info →AI Image Generation
We create for you the images that your business needs with artificial intelligence: product, networks, advertising, illustration and avatars. You tell us what you want and we deliver it ready to use.
More info →AI Video Generation
We create videos with artificial intelligence for you: promotional, networking, virtual presenters, dubbing and animations. You tell us the idea and we will deliver it assembled and ready to publish.
More info →AI Conversational Avatars
We create conversational avatars with AI – digital humans with a face and voice – that serve your customers and teams with the knowledge of your company, on your website, interactive monitors, WhatsApp or Teams.
More info →Online Marketing and AI
Google Ads, Meta Ads, LinkedIn Ads and AI Engine Positioning (GEO/AEO): we attract customers and make your brand appear where they search for you, also on ChatGPT, Gemini and Perplexity.
More info →
Do you have a project in mind?
Tell us your vision and we'll turn it into a software solution. Whatever the scope, we make your idea real.