SHAPE: Poda cooperativa de expertos en LLMs MoE

Descubre SHAPE, un método innovador que poda expertos en MoE LLMs usando teoría de juegos cooperativos para reducir memoria GPU sin perder precisión. ¡Optimiza tus modelos!

10 jun 2026 • 2 min read • Q2BSTUDIO Team

Ahorra memoria en MoE LLMs con poda basada en Shapley

La llegada de los modelos de lenguaje de gran escala basados en mezclas de expertos (Mixture-of-Experts o MoE) ha supuesto un avance significativo en eficiencia computacional, pero también ha introducido un cuello de botella crítico: la memoria necesaria para mantener todo el conjunto de expertos en hardware de inferencia. Aunque paradigmas como la poda de expertos parecen la solución natural, los criterios tradicionales suelen valorar a cada experto de forma aislada, ignorando que el comportamiento real del modelo depende de coaliciones dinámicas que se forman durante el enrutamiento. Aquí es donde surge SHAPE, un enfoque que modela la cooperación intra-capa mediante teoría de juegos cooperativos: asigna valores Shapley a los expertos basándose en las combinaciones observadas en un conjunto de calibración, identificando aquellos que realmente aportan a la utilidad conjunta, no solo los más frecuentes. La metodología incluye una regla de selección calidad-cobertura que, dentro de un presupuesto global de poda, retiene en cada capa el subconjunto mínimo que cubre una fracción alfa de la masa Shapley no negativa, ajustando con bisección para cumplir la tasa de retención deseada. Los experimentos sobre arquitecturas modernas —Qwen3-30B-A3B, GPT-OSS-20B y DeepSeek-V2-Lite— demuestran que SHAPE mantiene una precisión competitiva incluso al eliminar el 20 % y el 40 % de los expertos, reduciendo de forma clara el consumo de memoria GPU sin necesidad de reentrenamiento adicional.

Desde una perspectiva empresarial, esta optimización permite que compañías de cualquier tamaño puedan desplegar modelos de inteligencia artificial de última generación sin requerir infraestructuras desproporcionadas. La ia para empresas ya no es un lujo reservado a gigantes tecnológicos; con técnicas como SHAPE, cualquier organización puede integrar modelos lingüísticos potentes en sus aplicaciones a medida o en sus plataformas de software a medida. En Q2BSTUDIO entendemos que la eficiencia computacional va de la mano con la seguridad y la escalabilidad. Por eso, combinamos estas innovaciones con servicios cloud aws y azure para garantizar despliegues ágiles y seguros, al mismo tiempo que ofrecemos ciberseguridad y servicios inteligencia de negocio con power bi para que los datos fluyan de forma protegida y se transformen en decisiones. Además, trabajamos en la creación de agentes IA que se apoyan en modelos optimizados como los que posibilita SHAPE, permitiendo automatizar procesos complejos con un consumo de recursos muy inferior al tradicional.

Si tu empresa necesita incorporar inteligencia artificial de alto rendimiento sin disparar los costes de infraestructura, te invitamos a conocer más sobre nuestras soluciones de inteligencia artificial para empresas. Nuestro equipo de desarrollo está preparado para ayudarte a trasladar estos avances académicos a entornos productivos reales, integrando desde la poda inteligente de modelos hasta la puesta en marcha de sistemas completos de analítica y automatización. La clave está en no limitarse a replicar lo que otros hacen, sino en adaptar cada tecnología al contexto específico de tu organización, creando aplicaciones a medida que realmente aporten valor. Con SHAPE y el acompañamiento técnico adecuado, la barrera de la memoria deja de ser un obstáculo para la innovación.

A BREAK?

Play for a moment before you go

OUR SERVICES

How we can help you

Artificial intelligence

AI agents, chatbots, and intelligent assistants that automate tasks and serve your customers 24/7 to improve the efficiency of your business.

More info

Software Development

Web, mobile, and desktop applications, intranets, e-commerce, SaaS, and management platforms designed for your company's specific needs.

More info

Cloud services

Migration, infrastructure, managed hosting, high availability, and security on Microsoft Azure and Amazon Web Services to help your business scale without limits.

More info

Cybersecurity and pentesting

Security audits, penetration testing and protection of applications, data and infrastructure on-premise and cloud, with ethical hacking and regulatory compliance.

More info

Business Intelligence

Dashboards and data analysis with Power BI: we integrate your sources, design dashboards and KPIs and turn your data into decisions.

More info

Process automation

We automate repetitive tasks and connect your applications with n8n, Power Automate, Make, and RPA, eliminating manual work and increasing productivity.

More info

Training for Companies

We train your teams in technology with criteria: web development, databases, Git, best practices and security, automation with n8n, artificial intelligence for companies and creation of AI solutions with Azure AI Foundry.

More info

Code Auditing

We audit the code that you, your team or an AI create: we tell you what is good and what to improve, we secure it and make it ready for production, web or app.

More info

AI Image Generation

We create for you the images that your business needs with artificial intelligence: product, networks, advertising, illustration and avatars. You tell us what you want and we deliver it ready to use.

More info

AI Video Generation

We create videos with artificial intelligence for you: promotional, networking, virtual presenters, dubbing and animations. You tell us the idea and we will deliver it assembled and ready to publish.

More info

AI Conversational Avatars

We create conversational avatars with AI – digital humans with a face and voice – that serve your customers and teams with the knowledge of your company, on your website, interactive monitors, WhatsApp or Teams.

More info

Online Marketing and AI

Google Ads, Meta Ads, LinkedIn Ads and AI Engine Positioning (GEO/AEO): we attract customers and make your brand appear where they search for you, also on ChatGPT, Gemini and Perplexity.

More info

Do you have a project in mind?

Tell us your vision and we'll turn it into a software solution. Whatever the scope, we make your idea real.

Live Chat