Generación de videos largos auto-regresivos mediante cuantización de 2 bits en caché KV

En el campo de la generación de videos, especialmente en el ámbito de los modelos autoregresivos, un desafío importante que se ha identificado es el excesivo uso de la memoria caché KV, lo que limita tanto la capacidad de despliegue como la capacidad de generación. Este problema puede ser crucial en la consistencia a largo plazo en identidad, disposición y movimiento de los elementos en los videos generados.

Para abordar esta problemática, se ha presentado Quant VideoGen (QVG), un innovador marco de cuantización de memoria caché KV sin necesidad de entrenamiento para modelos autoregresivos de difusión de videos. QVG utiliza la redundancia espacio-temporal de los videos a través de un Suavizado Consciente Semánticamente, generando residuos de baja magnitud amigables para la cuantización.

Además, introduce la Cuantización Progressiva de Residuos, un esquema de múltiples etapas de grueso a fino que reduce el error de cuantización al tiempo que permite un intercambio suave entre calidad y memoria. En diversos benchmarks como LongCat Video, HY WorldPlay y Self Forcing, QVG logra establecer una nueva frontera de Pareto entre calidad y eficiencia de memoria, reduciendo la memoria caché KV hasta 7.0 veces con un sobrecoste de latencia final de menos del 4%, superando consistentemente a los modelos existentes en calidad de generación.

En Q2BSTUDIO nos especializamos en el desarrollo de aplicaciones a medida y software personalizado, utilizando tecnologías de vanguardia como inteligencia artificial y ofreciendo servicios en la nube de AWS y Azure. Si estás interesado en mejorar la generación de videos autoregresivos o en optimizar la memoria caché en tus aplicaciones, ¡contáctanos y descubre cómo podemos ayudarte a impulsar tu negocio!

Descubre más sobre nuestro servicio de desarrollo de aplicaciones a medida