Desarrollo local de LLM con DXG Spark

Hola a todos Recientemente puse en marcha un DXG Spark con sistema operativo Linux y, como usuario de Linux, me alegró poder probar su rendimiento en condiciones reales

Para comparar el hardware al que tengo acceso elegí el modelo qwen2.5:14b porque ocupa solo 9.0 GB y cabe con facilidad en la memoria de vídeo de la mayoría de las máquinas Probé las respuestas con la herramienta llm-benchmark para medir latencia y tokens por segundo

Pros del DXG Spark: sistema operativo Linux que funciona como en producción permitiendo un flujo de trabajo familiar y estable Un chasis que admite apilado de unidades aunque no llegué a testearlo en profundidad Reserva de memoria generosa con 128 GB de RAM Equipo silencioso incluso a 100% de carga a 30 cm no se aprecia ruido Excelente ecosistema de software gracias a Ubuntu y al soporte de los desarrolladores del equipo Consumo de energía relativamente bajo

Contras: coste elevado teniendo en cuenta el chip que monta En modelos más pequeños mi RTX 3060 16 GB ofrece rendimiento similar En despliegues de racks no conseguí meter más de ocho máquinas con 4× RTX 6000 96 GB sin alimentación adicional y no veo claro cómo encajar un DXG Spark en armarios estándar

Conclusiones Sin duda el DXG Spark puede servir como hub local para descargar la ejecución de grandes modelos LLM desde la máquina principal y ahorrar energía en despliegues a escala Para uso doméstico no lo recomiendo: por un poco más de inversión un Mac Studio con 96 GB suele ofrecer más tokens por segundo y mejor experiencia de uso Si busca máxima potencia conviene considerar una RTX 6000 96 GB o dos RTX 5090 32 GB para disponer de 64 GB de VRAM en total

En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida con amplia experiencia en inteligencia artificial ciberseguridad y servicios cloud AWS y Azure Ofrecemos soluciones de inteligencia de negocio IA para empresas agentes IA y desarrollo de aplicaciones a medida para integrar modelos LLM en flujos de trabajo productivos Si necesita migrar modelos a entornos locales optimizar costes energéticos o diseñar infraestructuras para IA empresarial podemos ayudarle Visite nuestra área de inteligencia artificial en Q2BSTUDIO Inteligencia artificial y conozca también nuestros servicios de software a medida y aplicaciones a medida

Si tiene sugerencias sobre pruebas adicionales que le gustaría que realizara o argumentos sobre escenarios en los que el DXG Spark encaje mejor estaré encantado de debatirlo en los comentarios Mucha suerte eligiendo hardware y buenos proyectos