El desarrollo de inteligencia artificial avanza rápido pero a menudo los desarrolladores dependen de APIs en la nube, lo que puede ralentizar prototipos y elevar costes. ¿Y si pudieras ejecutar modelos LLM localmente, tan fácil como levantar un contenedor Docker? En este artículo explico cómo ejecutar modelos LLM en local con Docker Model Runner, descargar y ejecutar el modelo Qwen 3 y conectarlo a una aplicación .NET usando Semantic Kernel.
Por qué ejecutar LLMs dentro de Docker Docker ya es el estándar para empaquetar aplicaciones. Con Docker Model Runner puedes descargar modelos como si fueran imágenes Docker, ejecutarlos en tu máquina sin depender de APIs en la nube y exponer APIs compatibles con OpenAI para integrarlos fácilmente en tus aplicaciones. Esto permite probar, prototipar y desplegar cargas de IA localmente de forma privada y sin costes por uso.
Paso 1: Habilitar Docker Model Runner Abre Docker Desktop, ve a Settings y en AI Features habilita Docker Model Runner y Host-side TCP support en el puerto 12434 para permitir que los modelos expongan APIs REST que tus aplicaciones puedan consumir.
Paso 2: Descargar y ejecutar Qwen 3 En tu terminal ejecuta los comandos siguientes para descargar y ejecutar el modelo: docker model pull qwen/qwen-3b docker model run qwen/qwen-3b Verás una sesión interactiva donde puedes enviar preguntas, por ejemplo: Hello y recibir respuestas del modelo.
Paso 3: Usar la API REST Docker Model Runner expone endpoints en https://localhost:12434/v1 . Para listar modelos disponibles puedes usar: curl https://localhost:12434/models Allí verás Qwen 3 y otros modelos descargados.
Paso 4: Conectar con Semantic Kernel (.NET) No hace falta reescribir tu aplicación. Semantic Kernel ya trabaja con APIs tipo OpenAI, y como Docker expone la misma estructura solo cambia la base URL. Instala el paquete necesario con: dotnet add package Microsoft.SemanticKernel En tu aplicación de consola crea el kernel, configura el proveedor de chat para apuntar a la endpoint local https://localhost:12434/v1 y usa como identificador de modelo qwen/qwen-3b. En términos generales debes indicar modelId igual a qwen/qwen-3b, apiKey opcional como dummy para el endpoint local y endpoint apuntando a https://localhost:12434/v1. A partir de ahí puedes invocar prompts desde Semantic Kernel y recibir respuestas del modelo corriendo en Docker.
Ventajas clave Local-first AI: ejecuta LLMs sin necesidad de conexión a internet o facturación en la nube. Privacidad: los datos no salen de tu máquina. Compatibilidad: mismos SDKs y APIs, solo cambias la base URL para alternar entre local y nube. Flexibilidad: prototipa y despliega de forma consistente gracias a contenedores.
Cómo encaja Q2BSTUDIO En Q2BSTUDIO somos una empresa de desarrollo de software especializada en aplicaciones a medida y software a medida, con experiencia en inteligencia artificial, ciberseguridad, servicios cloud aws y azure y soluciones de inteligencia de negocio. Si buscas integrar LLMs en soluciones empresariales o crear agentes IA personalizados, podemos ayudarte a diseñar la arquitectura, desplegar modelos en entornos on premise o en la nube y conectar todo con tus aplicaciones .NET o microservicios. Consulta nuestros servicios de inteligencia artificial en Q2BSTUDIO Inteligencia Artificial y si necesitas desarrollo de aplicaciones personalizadas visita Desarrollo de aplicaciones y software a medida. Trabajamos también con estándares de ciberseguridad para proteger tus datos y con integraciones de Power BI y servicios de inteligencia de negocio para sacar partido a la información.
Casos de uso Prototipos locales de agentes IA, asistentes empresariales, sistemas de consulta de documentación interna, análisis de logs y automatización de procesos con agentes que requieren privacidad y baja latencia. Además, combinar LLMs locales con servicios cloud híbridos en AWS o Azure permite optimizar costes y rendimiento.
Conclusión Ejecutar modelos de IA es ahora tan sencillo como ejecutar contenedores. Con Docker Model Runner puedes descargar Qwen 3, ejecutarlo en tu equipo y conectarlo a aplicaciones .NET mediante Semantic Kernel. Si quieres explorar soluciones a medida, agentes IA, integración con power bi, servicios cloud aws y azure o mejorar la seguridad de tus despliegues, en Q2BSTUDIO te ofrecemos consultoría y ejecución completa para llevar tu proyecto desde la idea a la producción.
Qué modelo vas a probar primero con Docker y cómo podemos ayudarte a integrarlo en tu arquitectura empresarial. Contáctanos para una consultoría personalizada en soluciones de inteligencia artificial, ciberseguridad y desarrollo de software a medida.
