Contenido - overview especificaciones GPU RTX 5090 - descarga e instalación de driver - integración de GPU NVIDIA con Docker - desactivar IPv6 - instalar Ollama y Open WEBUI con Docker compose - instalación de modelos
Introducción En este artículo comparto la experiencia de instalar y configurar un entorno LLM en un PC ensamblado pensado para uso en producción y para apoyar a un equipo médico en el análisis de diagnósticos y la integración con un SIMRS. El objetivo es disponer de un entorno fiable para ejecutar modelos de gran tamaño, orquestarlos con Docker y exponer APIs seguras. Este trabajo lo realiza Q2BSTUDIO empresa de desarrollo de software aplicaciones a medida especialistas en inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA y power bi y soluciones de software a medida para clientes que necesitan aplicaciones a medida y servicios avanzados de inteligencia artificial.
Especificaciones del PC Sistema operativo Ubuntu 24.04.2 LTS x86_64 Placa madre ASUS ROG CROSSHAIR X870E HERO CPU AMD Ryzen 9 9950X3D Memoria 62 GB aprox GPU integrada AMD GPU dedicada NVIDIA RTX 5090
Comprobación inicial Para identificar el hardware y confirmar GPUs utilicé neofetch y dmidecode -t baseboard para la placa madre. Tras instalar el driver se puede comprobar el estado de la GPU con nvidia-smi.
Instalar driver NVIDIA La RTX 5090 es un modelo muy reciente. Tras varios intentos la versión de driver que funcionó en mi equipo fue 570.172.08. Pasos clave 1 Desactivar secure boot en BIOS pulsando F2 entrar en Advance Mode luego Boot Secure boot y cambiar OS Type a Other OS y Secure Boot Mode a Custom 2 Comprobar drivers recomendados con ubuntu-drivers devices y probar ubuntu-drivers autoinstall si procede 3 Si hay conflictos eliminar instalaciones previas con apt purge ^nvidia-.* --yes apt autoremove 4 Limpiar restos con rm -rf /usr/local/cuda* rm -rf /etc/X11/xorg.conf rm -rf /lib/modules/$(uname -r)/kernel/drivers/video/nvidia* update-grub reboot 5 Descargar el instalador oficial wget https://us.download.nvidia.com/XFree86/Linux-x86_64/570.172.08/NVIDIA-Linux-x86_64-570.172.08.run 6 Hacer ejecutable e instalar chmod +x NVIDIA-Linux-x86_64-570.172.08.run sudo ./NVIDIA-Linux-x86_64-570.172.08.run 7 Verificar con nvidia-smi
Notas Si el instalador no funciona vuelva a revisar el estado de secure boot y los paquetes en conflicto. Algunos kernels y módulos previos pueden interferir, por eso los comandos de limpieza ayudan a restaurar un estado limpio.
Instalar Docker Para instalar Docker en Ubuntu seguiré el flujo oficial adaptado a 24.04. Pasos resumidos 1 Eliminar paquetes que generan conflictos for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done 2 Preparar claves y repositorio sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc 3 Añadir el repositorio deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo ${UBUNTU_CODENAME:-$VERSION_CODENAME}) stable | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update 4 Instalar docker sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin 5 Comprobar que el demonio docker funciona sudo systemctl enable --now docker sudo docker run --rm hello-world
Integración de la GPU NVIDIA con Docker Para aprovechar la RTX 5090 desde contenedores instalar NVIDIA Container Toolkit y configurar runtime nvidia Instalar toolkit sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker Probar docker run --gpus all nvidia/cuda:12.2-base nvidia-smi
Desactivar IPv6 En algunos entornos de producción y para evitar conflictos de red con modelos y servicios se recomienda desactivar IPv6 si la infraestructura lo requiere. Editar con sudo nano /etc/sysctl.conf y añadir al final del archivo estas líneas net.ipv6.conf.all.disable_ipv6=1 net.ipv6.conf.default.disable_ipv6=1 Guardar y aplicar sudo sysctl -p
Instalar Ollama y Open WEBUI con Docker Compose Se puede orquestar Ollama y una interfaz como Open WEBUI mediante docker compose y exponer puertos y volúmenes. Ejemplo mínimo de docker compose crear un archivo docker-compose.yml con el siguiente contenido version: 3.8 services: ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - 11434:11434 volumes: - ./data/ollama:/root/.ollama environment: - OLLAMA_API_KEY=tu_api_key openwebui: image: 0x0847/open-webui:latest container_name: openwebui restart: unless-stopped ports: - 7860:7860 environment: - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=all volumes: - ./models:/models deploy: resources: reservations: devices: - capabilities: - gpu Levantar los servicios con sudo docker compose up -d Importante asegurarse de que el runtime nvidia está disponible y que los contenedores pueden acceder a la GPU
Instalar modelos Con Ollama se pueden descargar y ejecutar modelos locales. Ejemplos ollama pull meta-llama/Llama-2-13b-chat-hf ollama list ollama run meta-llama/Llama-2-13b-chat-hf En Open WEBUI montar la carpeta models que apunte a la ubicación donde Ollama guarda los modelos o utilizar el mecanismo de carga de modelos propio de la interfaz
Buenas prácticas para producción Usar volúmenes persistentes para datos y modelos configurar backups controlar acceso con firewalls y autenticación HTTPS y auditar uso de GPU y logs. Para entornos clínicos cumplir normativas de seguridad y privacidad y coordinar integración con el SIMRS mediante APIs seguras.
Sobre Q2BSTUDIO Q2BSTUDIO es una empresa de desarrollo de software que ofrece aplicaciones a medida y software a medida con enfoque en inteligencia artificial ciberseguridad servicios cloud aws y azure y servicios de inteligencia de negocio. Somos especialistas en ia para empresas agentes IA y power bi y ofrecemos soluciones integrales desde consultoría diseño desarrollo e implementación hasta mantenimiento y seguridad. Si buscas aplicaciones a medida o servicios avanzados de inteligencia artificial en producción Q2BSTUDIO puede acompañarte en todo el ciclo de vida del proyecto.
Palabras clave para SEO aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws azure servicios inteligencia de negocio ia para empresas agentes IA power bi
Conclusión Preparar un equipo con NVIDIA RTX 5090 en Ubuntu requiere paciencia con drivers y secure boot integrar la GPU con Docker mediante nvidia container toolkit y orquestar Ollama y Open WEBUI con Docker Compose permite tener un entorno LLM local y controlado. Q2BSTUDIO aporta experiencia para diseñar e implementar estas soluciones adaptadas a su negocio y asegurar integración, rendimiento y cumplimiento normativo.
.jpg)
.jpg)