.jpg)
Ejecuta LLMs locales en menos de 5 minutos usando Nanocl
En este artículo aprenderás a desplegar y gestionar tu propio sitio tipo ChatGPT autoalojado combinando Nanocl, Ollama y Open WebUI. Esta solución es ideal para empresas que necesitan control total sobre sus modelos y datos y encaja perfectamente con servicios de Inteligencia artificial y soluciones de aplicaciones a medida que ofrecemos en Q2BSTUDIO. Somos una empresa de desarrollo de software y aplicaciones a medida, especialistas en inteligencia artificial, ciberseguridad y servicios cloud AWS y Azure, y podemos ayudarte a integrar estas plataformas en tu arquitectura empresarial.
Resumen rapido - componentes principales: Nanocl para orquestacion ligera de contenedores, Ollama para ejecutar modelos de lenguaje grandes de forma local, y Open WebUI para una interfaz web moderna y amigable.
Requisitos previos: 1) Docker instalado siguiendo la guia oficial de tu distribucion Linux. 2) Nanocl CLI, instalalo con el comando curl -fsSL https://download.next-hat.com/scripts/get-nanocl.sh | sh y luego configura el grupo y servicios internos con sudo groupadd nanocl ; sudo usermod -aG nanocl $USER ; newgrp nanocl ; nanocl install. Para mas detalles revisa la documentacion de Nanocl. 3) Opcional: Nvidia Container Toolkit si quieres aceleracion GPU, siguiendo la guia de Nvidia.
Paso 1 - Desplegar Ollama con Nanocl: crea un archivo llamado ollama.Statefile.yml con la configuracion basica para persistir datos y habilitar GPU si procede. Por ejemplo indica la imagen docker.io/ollama/ollama:latest y un volumen persistente. Despliega con nanocl apply -s ollama.Statefile.yml.
Paso 2 - Desplegar Open WebUI con Nanocl: crea openwebui.Statefile.yml configurando la variable de entorno OLLAMA_BASE_URL apuntando a https://ollama.local:11434 y un volumen para los datos de WebUI. Añade la regla de proxy para exponer open-webui.local y despliega con nanocl apply -s openwebui.Statefile.yml. La primera vez Open WebUI descargara componentes y modelos, puedes seguir el progreso con nanocl cargo logs open-webui -f.
Paso 3 - Acceder a Open WebUI: añade en tu archivo /etc/hosts la linea 127.0.0.1 open-webui.local y abre en el navegador https://open-webui.local. Crea tu cuenta de administrador con Get Started, ve al panel de administracion y en Settings - Models descarga el modelo deseado, por ejemplo gemma2:2b. Cuando el modelo este listo crea un nuevo chat y prueba saludando al modelo.
Buenas practicas y consideraciones: asegura la comunicacion entre servicios con redes privadas y certificados si expones la aplicacion, controla recursos y limites de contenedores para evitar sobrecarga, y planifica backups del volumen donde se almacenan los modelos. Si necesitas aceleracion GPU confirma que el runtime nvidia y DeviceRequests estan correctamente configurados en los Statefile.
Como puede ayudar Q2BSTUDIO: en Q2BSTUDIO ofrecemos integracion y desarrollo de soluciones a medida que incluyen despliegue de modelos locales, servicios de ciberseguridad y pentesting para proteger tus datos, migracion y gestion de infraestructuras en la nube con servicios cloud AWS y Azure y proyectos de inteligencia de negocio y Power BI. Podemos acompañarte desde la implementacion hasta la operacion de agentes IA, soluciones de IA para empresas y procesos automatizados que mejoren tu productividad y seguridad.
Palabras clave: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi, automatizacion de procesos.
Recursos y siguientes pasos: si quieres que implementemos, optimicemos o auditemos tu instalacion contacta con nuestro equipo de desarrollo y consultoria para proyectos de inteligencia artificial y software a medida en Q2BSTUDIO. Podemos tambien asistirte con despliegue seguro, escalado y monitorizacion continua.
Nota final: este flujo te permite tener control total sobre tus modelos y datos, ideal para empresas que requieren privacidad y personalizacion. Si necesitas apoyo especializado en implementacion, seguridad o arquitectura cloud, en Q2BSTUDIO somos tu socio tecnologico.
