En el mundo de la informática y la tecnología, la latencia de un sistema puede ser un factor crítico que afecta directamente a su rendimiento y costos operativos. Los Modelos de Lenguaje de Gran Escala, conocidos como LLM, se enfrentan a una amenaza emergente y importante denominada ataques por latencia. Estos ataques pueden provocar retrasos incluso mínimos que se traducen en costos operativos sustanciales y riesgos graves para la disponibilidad del sistema.
En Q2BSTUDIO, una empresa especializada en desarrollo de software a medida y tecnología de vanguardia, comprendemos la importancia de proteger los sistemas contra este tipo de amenazas. Por eso, es fundamental encontrar estrategias efectivas para combatir los ataques de latencia y garantizar el óptimo funcionamiento de los sistemas.
Recientemente, se ha investigado ampliamente sobre los ataques de complejidad algorítmica, que buscan generar retrasos en la salida de un sistema a través de inputs específicos. Sin embargo, se ha descubierto que estos ataques de latencia no son tan efectivos como se pensaba contra los sistemas LLM modernos. Esto se debe en parte a la optimización a nivel de sistema, como el batching continuo, que ayuda a mitigar el impacto de la latencia en los usuarios que comparten recursos.
En este sentido, en lugar de centrarnos en ataques a nivel algorítmico, es necesario prestar atención a la capa de sistema. Es así como surge una nueva estrategia de ataque llamada Fill and Squeeze, que se enfoca en la transición de estados del planificador del sistema. Esta táctica busca manipular las longitudes de salida del sistema mediante diversas técnicas, desde simples estímulos de texto plano hasta ingeniería de prompts más compleja, aprovechando incluso la observación de canales secundarios del estado de la memoria.
Los resultados de nuestras extensas evaluaciones indican que esta nueva estrategia de ataque puede lograr ralentizaciones significativas en el Tiempo hasta el Primer Token y en el Tiempo por Token de Salida en comparación con los ataques existentes, todo ello con un costo de ataque más bajo.
En definitiva, es crucial estar preparados para defender nuestros sistemas contra los ataques de latencia, especialmente en entornos donde la disponibilidad y el rendimiento son críticos. En Q2BSTUDIO, ofrecemos servicios especializados en ciberseguridad, inteligencia artificial, servicios en la nube como AWS y Azure, inteligencia empresarial y desarrollo de software a medida, para ayudar a proteger y optimizar los sistemas de nuestros clientes.
