.jpg)
El sueño de ejecutar modelos de lenguaje masivos en hardware modesto sigue siendo una meta tentadora, especialmente cuando los modelos prometen activar solo una fracción de sus parámetros por token. Los arquitecturas de mezcla dispersa de expertos (Mixture of Experts) han popularizado esta idea: tener 30 mil millones de parámetros en papel pero encender apenas unos pocos miles de millones en cada paso. Sin embargo, cuando la teoría choca con la práctica, el rendimiento real depende de factores mucho más sutiles que el simple conteo de parámetros. Este artículo explora por qué un modelo de 30B puede correr como un caracol en una mini PC y cómo identificar el verdadero cuello de botella: la atención.
Recientemente, al probar un modelo de 30B con arquitectura sparse MoE en un equipo compacto con Ryzen 9 7940HS, gráficos integrados Radeon 780M y 96 GB de RAM, los resultados fueron decepcionantes. Con contexto corto se obtenían apenas 7 tokens por segundo, y al duplicar el contexto la velocidad caía a la mitad: 16K ? 2.1 tok/s, 32K ? 1.1 tok/s, 64K ? 0.6 tok/s. A 128K simplemente se agotaba la memoria. Lo curioso es que cambiar la cuantización de Q8 a Q4 apenas alteraba el rendimiento. Eso revelaba algo crucial: el problema no estaba en los pesos, sino en el mecanismo de atención.
El modelo emplea Multi-head Latent Attention (MLA), una técnica introducida por DeepSeek que comprime la caché de claves y valores en un espacio latente pequeño. En teoría, esto debería mantener la memoria de contexto bajo control incluso con secuencias largas. Pero la implementación del runtime es clave. Si el software no maneja MLA correctamente, el modelo cae en atención multi-cabeza ordinaria, inflando la caché KV hasta diecisiete veces su tamaño previsto. Eso provoca la caída abrupta en velocidad y el desbordamiento de memoria. Además, en gráficos integrados de AMD, el backend Vulkan carece de kernels de flash attention, por lo que el cómputo de atención se realiza sin optimización o se delega a la CPU, compartiendo el bus de memoria y empeorando todo.
La solución llegó con un fork de llama.cpp (ik_llama.cpp) que implementa un modo MLA explícito. Al ejecutarlo solo en CPU (aprovechando la memoria unificada), el rendimiento saltó a 10-11 tok/s en contexto corto y, más importante, la velocidad se mantuvo estable al aumentar el contexto; incluso a 128K cabía sin problemas. El mismo modelo, con los mismos pesos, pero con el runtime adecuado, pasó de ser inútil a ser viable. Esto demuestra que, antes de culpar al hardware o a la cuantización, hay que revisar cómo se maneja la atención.
Para empresas que buscan integrar inteligencia artificial en sus procesos, este tipo de problemas son críticos. En Q2BSTUDIO, como especialistas en ia para empresas, sabemos que la eficiencia en inferencia local no solo depende del modelo, sino de la optimización del software que lo ejecuta. Por eso ofrecemos servicios de software a medida que incluyen desde la selección de arquitecturas hasta la implementación de runtimes personalizados, garantizando que sus sistemas de IA funcionen en el hardware disponible sin cuellos de botella inesperados.
La lección práctica: si un modelo grande se vuelve lento a medida que crece el contexto, no asuma que la solución es reducir la cuantización. Mida la velocidad a diferentes longitudes de contexto; si la caída es abrupta, probablemente esté ante un problema de atención. Verifique si su runtime soporta técnicas como MLA o flash attention. En plataformas con gráficos integrados, a veces la CPU bien configurada supera a la GPU por la falta de kernels optimizados. Y recuerde que en entornos empresariales, la inteligencia artificial debe ser tanto precisa como eficiente; por eso en Q2BSTUDIO también implementamos agentes IA con despliegue en servicios cloud aws y azure para escalar cuando sea necesario, o soluciones locales con ciberseguridad integrada para datos sensibles.
En resumen, los 'pesos inocentes' de un modelo MoE no garantizan velocidad si la atención es culpable. Con las herramientas adecuadas y el conocimiento de cómo interactúa el software con el hardware, es posible hacer que modelos de 30B corran decentemente en mini PCs, abriendo puertas a aplicaciones de inteligencia de negocio y Power BI que requieren inferencia en tiempo real. En Q2BSTUDIO combinamos experiencia en aplicaciones a medida y optimización de IA para que cada empresa aproveche al máximo sus inversiones tecnológicas, sin depender de costosos clusters de GPU.
