Fre-Res: Compresión de tokens de video de frecuencia residual para MLLMs de video eficientes

Los modelos multimodales de lenguaje y visión aplicados a video, conocidos como video MLLMs, se enfrentan a un reto fundamental: cómo equilibrar la riqueza de detalle espacial de cada fotograma con la necesidad de capturar eventos rápidos a lo largo del tiempo. Tradicionalmente, aumentar la resolución espacial incrementa el número de tokens visuales, mientras que un muestreo temporal más denso multiplica aún más la carga computacional. Aquí es donde propuestas como Fre-Res aportan una solución elegante al separar ambos tipos de información: por un lado, mantienen anclas espaciales de alta fidelidad con pocos tokens, y por otro, representan la evolución temporal mediante tokens residuales de frecuencia comprimidos. Al aplicar transformadas discretas de coseno unidimensionales sobre las trayectorias residuales entre fotogramas en el espacio latente de visión, logran concentrar la energía en las bajas frecuencias, lo que permite una compresión muy eficiente sin perder las señales de transición causal. En la práctica, esto significa que un sistema de inteligencia artificial puede procesar vídeos largos o de alta resolución con una fracción de los recursos computacionales habituales, manteniendo un rendimiento comparable al de modelos que usan todos los tokens. Para una empresa que desarrolla aplicaciones a medida en el ámbito del análisis de video, esta eficiencia se traduce en menores costes de inferencia y la posibilidad de desplegar agentes IA en tiempo real sobre infraestructura cloud. En Q2BSTUDIO, como empresa de desarrollo de software a medida, integramos este tipo de avances en nuestras soluciones de ia para empresas, ofreciendo servicios cloud aws y azure para escalar el procesamiento, así como capacidades de ciberseguridad para proteger los datos visuales y servicios inteligencia de negocio con power bi para visualizar los resultados analíticos. La compresión de tokens de frecuencia residual abre la puerta a nuevas aplicaciones, desde la monitorización de procesos industriales hasta la moderación de contenido en streaming, todo ello sin sacrificar la precisión en la identificación de objetos y el razonamiento temporal.