Contingut - visió general especificacions GPU RTX 5090 - descàrrega i instal·lació del driver - integració de GPU NVIDIA amb Docker - desactivar IPv6 - instal·lar Ollama i Open WEBUI amb Docker compose - instal·lació de models
Introducció En aquest article comparteixo l'experiència d'instal·lar i configurar un entorn LLM en un PC muntat pensat per a ús en producció i per donar suport a un equip mèdic en l'anàlisi de diagnòstics i la integració amb un SIMRS. L'objectiu és disposar d'un entorn fiable per executar models de gran mida, orquestrar-los amb Docker i exposar API segures. Aquest treball el realitza Q2BSTUDIO, empresa de desenvolupament de programari i aplicacions a mida, especialistes en intel·ligència artificial, ciberseguretat, serveis cloud AWS i Azure, serveis d'intel·ligència de negoci, IA per a empreses, agents IA i Power BI, i solucions de programari a mida per a clients que necessiten aplicacions a mida i serveis avançats d'intel·ligència artificial.
Especificacions del PC Sistema operatiu Ubuntu 24.04.2 LTS x86_64 Placa base ASUS ROG CROSSHAIR X870E HERO CPU AMD Ryzen 9 9950X3D Memòria 62 GB aprox. GPU integrada AMD GPU dedicada NVIDIA RTX 5090
Comprovació inicial Per identificar el maquinari i confirmar les GPU vaig utilitzar neofetch i dmidecode -t baseboard per a la placa base. Després d'instal·lar el driver es pot comprovar l'estat de la GPU amb nvidia-smi.
Instal·lar el driver NVIDIA La RTX 5090 és un model molt recent. Després de diversos intents, la versió de driver que va funcionar al meu equip va ser la 570.172.08. Passos clau 1 Desactivar Secure Boot a la BIOS: prement F2 entrar al Mode Avançat, després Boot, Secure Boot i canviar OS Type a Other OS i Secure Boot Mode a Custom 2 Comprovar els drivers recomanats amb ubuntu-drivers devices i provar ubuntu-drivers autoinstall si escau 3 Si hi ha conflictes, eliminar instal·lacions prèvies amb apt purge ^nvidia-.* --yes apt autoremove 4 Netejar restes amb rm -rf /usr/local/cuda* rm -rf /etc/X11/xorg.conf rm -rf /lib/modules/$(uname -r)/kernel/drivers/video/nvidia* update-grub reboot 5 Descarregar el instal·lador oficial wget https://us.download.nvidia.com/XFree86/Linux-x86_64/570.172.08/NVIDIA-Linux-x86_64-570.172.08.run 6 Fer-lo executable i instal·lar chmod +x NVIDIA-Linux-x86_64-570.172.08.run sudo ./NVIDIA-Linux-x86_64-570.172.08.run 7 Verificar amb nvidia-smi
Notes Si l'instal·lador no funciona, torneu a revisar l'estat de Secure Boot i els paquets en conflicte. Alguns kernels i mòduls previs poden interferir, per això les ordres de neteja ajuden a restaurar un estat net.
Instal·lar Docker Per instal·lar Docker a Ubuntu seguiré el flux oficial adaptat a 24.04. Passos resumits 1 Eliminar paquets que generen conflictes for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done 2 Preparar claus i repositori sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc 3 Afegir el repositori deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo ${UBUNTU_CODENAME:-$VERSION_CODENAME}) stable | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update 4 Instal·lar Docker sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin 5 Comprovar que el dimoni de Docker funciona sudo systemctl enable --now docker sudo docker run --rm hello-world
Integració de la GPU NVIDIA amb Docker Per aprofitar la RTX 5090 des de contenidors, instal·lar NVIDIA Container Toolkit i configurar el runtime nvidia Instal·lar el toolkit sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker Provar docker run --gpus all nvidia/cuda:12.2-base nvidia-smi
Desactivar IPv6 En alguns entorns de producció i per evitar conflictes de xarxa amb models i serveis, es recomana desactivar IPv6 si la infraestructura ho requereix. Editar amb sudo nano /etc/sysctl.conf i afegir al final del fitxer aquestes línies net.ipv6.conf.all.disable_ipv6=1 net.ipv6.conf.default.disable_ipv6=1 Desar i aplicar sudo sysctl -p
Instal·lar Ollama i Open WEBUI amb Docker Compose Es pot orquestrar Ollama i una interfície com Open WEBUI mitjançant Docker Compose i exposar ports i volums. Exemple mínim de docker compose: crear un fitxer docker-compose.yml amb el contingut següent version: 3.8 services: ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - 11434:11434 volumes: - ./data/ollama:/root/.ollama environment: - OLLAMA_API_KEY=tu_api_key openwebui: image: 0x0847/open-webui:latest container_name: openwebui restart: unless-stopped ports: - 7860:7860 environment: - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=all volumes: - ./models:/models deploy: resources: reservations: devices: - capabilities: - gpu Aixecar els serveis amb sudo docker compose up -d Important assegurar-se que el runtime nvidia està disponible i que els contenidors poden accedir a la GPU
Instal·lar models Amb Ollama es poden descarregar i executar models locals. Exemples ollama pull meta-llama/Llama-2-13b-chat-hf ollama list ollama run meta-llama/Llama-2-13b-chat-hf A Open WEBUI, muntar la carpeta models que apunti a la ubicació on Ollama desa els models o utilitzar el mecanisme de càrrega de models propi de la interfície
Bones pràctiques per a producció Utilitzar volums persistents per a dades i models, configurar còpies de seguretat, controlar l'accés amb tallafocs i autenticació HTTPS, i auditar l'ús de GPU i registres. Per a entorns clínics, complir les normatives de seguretat i privadesa i coordinar la integració amb el SIMRS mitjançant API segures.
Sobre Q2BSTUDIO Q2BSTUDIO és una empresa de desenvolupament de programari que ofereix aplicacions a mida i programari a mida amb enfocament en intel·ligència artificial, ciberseguretat, serveis cloud AWS i Azure, i serveis d'intel·ligència de negoci. Som especialistes en IA per a empreses, agents IA i Power BI, i oferim solucions integrals des de consultoria, disseny, desenvolupament i implementació fins a manteniment i seguretat. Si busqueu aplicacions a mida o serveis avançats d'intel·ligència artificial en producció, Q2BSTUDIO us pot acompanyar en tot el cicle de vida del projecte.
Paraules clau per a SEO aplicacions a mida, programari a mida, intel·ligència artificial, ciberseguretat, serveis cloud AWS Azure, serveis d'intel·ligència de negoci, IA per a empreses, agents IA, Power BI
Conclusió Preparar un equip amb NVIDIA RTX 5090 a Ubuntu requereix paciència amb els drivers i Secure Boot, integrar la GPU amb Docker mitjançant NVIDIA Container Toolkit i orquestrar Ollama i Open WEBUI amb Docker Compose permet tenir un entorn LLM local i controlat. Q2BSTUDIO aporta experiència per dissenyar i implementar aquestes solucions adaptades al vostre negoci i assegurar integració, rendiment i compliment normatiu.
