ART: Nuevo método de ajuste fino para LLMs multimodales

Descubre ART, un innovador método de fine-tuning para LLMs multimodales que optimiza la entrada visual sin modificar pesos. Competitivo con LoRA en benchmarks.

11 jun 2026 • 2 min de lectura • Equip Q2BSTUDIO

Optimización visual sin modificar pesos del modelo

En el vertiginoso avance de la inteligencia artificial, los modelos de lenguaje multimodal (MLLM) han abierto la puerta a sistemas capaces de procesar texto, imágenes y audio de forma conjunta. Sin embargo, uno de los desafíos persistentes es el ajuste fino eficiente (PEFT) sin modificar la arquitectura subyacente. Técnicas como LoRA y el Soft Prompting requieren alterar el grafo computacional, lo que dificulta su integración en motores de alto rendimiento como vLLM. Frente a esta limitación, surge ART (Art-based Reinforcement Training), un enfoque innovador que optimiza directamente la entrada visual en bruto de un MLLM congelado, permitiendo un ajuste fino sin tocar los pesos internos del modelo. Esto se logra mediante retropropagación de gradientes sobre un arreglo de píxeles, convirtiendo la señal optimizada en auténticas obras computacionales que, además de funcionales, pueden ser estéticamente significativas. Los experimentos sobre arquitecturas Qwen muestran que ART alcanza precisión comparable a LoRA en tareas matemáticas y de uso estructurado de herramientas, abriendo un camino prometedor para la personalización de modelos sin sacrificar rendimiento.

Este método tiene implicaciones directas para las empresas que buscan ia para empresas sin verse atadas a costosas reentrenamientos completos. En lugar de depender de hardware especializado o modificar la arquitectura base, ART permite inyectar conocimiento contextual mediante la optimización de la entrada visual, lo que puede ser explotado para crear aplicaciones a medida que respondan a necesidades específicas de dominio, como la clasificación de imágenes industriales o la asistencia en diagnósticos médicos. Desde Q2BSTUDIO, empresa especializada en desarrollo de software a medida, vemos en ART una oportunidad para integrar inteligencia artificial en procesos empresariales de forma más ágil, combinando modelos multimodales con plataformas que aprovechen servicios cloud aws y azure para escalar estas soluciones sin fricciones.

La capacidad de ART de operar sobre modelos precompilados lo hace particularmente atractivo para entornos de producción donde la eficiencia y la seguridad son críticas. Al mantener el modelo base intacto, se reduce la superficie de ataque y se facilita la auditoría, aspectos clave en ciberseguridad. Además, la naturaleza visual de la optimización permite integrar señales de retroalimentación humana o sensores, lo que potencia el desarrollo de agentes IA capaces de adaptarse dinámicamente a cambios en el entorno. Por ejemplo, un sistema de inspección de calidad podría ajustar su interpretación de imágenes mediante refuerzo basado en arte, sin necesidad de reentrenar todo el modelo.

Desde una perspectiva de inteligencia de negocio, ART facilita la creación de dashboards y análisis visuales avanzados, donde las representaciones artísticas optimizadas no solo son funcionales sino que también comunican información de manera intuitiva. Esto enlaza directamente con servicios inteligencia de negocio como Power BI, que pueden enriquecerse con estas salidas visuales para ofrecer insights más profundos. En Q2BSTUDIO, entendemos que la adopción de nuevas técnicas como ART requiere plataformas robustas y personalizadas; por eso ofrecemos soluciones que integran estos avances en software a medida, asegurando que cada empresa pueda capitalizar el potencial de los modelos multimodales sin comprometer la escalabilidad ni la seguridad.

UNA PAUSA?

Juga una estona abans de marxar

ELS NOSTRES SERVEIS

Com et podem ajudar

Intel·ligència artificial

Agents d'IA, chatbots i assistents intel·ligents que automatitzen tasques i atenen els teus clients 24/7 per millorar l'eficiència del teu negoci.

Més info

Desenvolupament de programari

Aplicacions web, mòbils i d'escriptori, intranets, e-commerce, SaaS i plataformes de gestió dissenyades per a les necessitats concretes de la teva empresa.

Més info

Serveis cloud

Migració, infraestructura, hosting gestionat, alta disponibilitat i seguretat en Microsoft Azure i Amazon Web Services perquè el teu negoci escali sense límits.

Més info

Ciberseguretat i pentesting

Auditories de seguretat, test d'intrusió (pentesting) i protecció d'aplicacions, dades i infraestructura on-premise i cloud, amb hacking ètic i compliment normatiu.

Més info

Business Intelligence

Quadres de comandament i anàlisi de dades amb Power BI: integrem les teves fonts, dissenyem dashboards i KPIs i convertim les teves dades en decisions.

Més info

Automatització de processos

Automatitzem tasques repetitives i connectem les teves aplicacions amb n8n, Power Automate, Make i RPA, eliminant treball manual i augmentant la productivitat.

Més info

Formació per a empreses

Formem els teus equips en tecnologia amb criteri: desenvolupament web, bases de dades, Git, bones pràctiques i seguretat, automatització amb n8n, intel·ligència artificial per a empreses i creació de solucions d'IA amb Azure AI Foundry.

Més info

Auditoria de codi

Auditem el codi que creguis tu, el teu equip o una IA: et diem què està bé i què millorar, el securitzem i el deixem llest per a producció, web o app.

Més info

Generació d'imatges amb IA

Creem per tu les imatges que necessita el teu negoci amb intel·ligència artificial: producte, xarxes, publicitat, il·lustració i avatars. Tu ens dius què vols i t'ho lliurem llest per fer servir.

Més info

Generació de vídeos amb IA

Creem per tu vídeos amb intel·ligència artificial: promocionals, per a xarxes, presentadors virtuals, doblatge i animacions. Ens comptes la idea i t'ho lliurem muntat i llest per publicar.

Més info

Avatars conversacionals amb IA

Creem avatars conversacionals amb IA —humans digitals amb cara i veu— que atenen els teus clients i equips amb el coneixement de la teva empresa, a la teva web, monitors interactius, WhatsApp o Teams.

Més info

Màrqueting Online i IA

Google Ads, Meta Ads, LinkedIn Ads i posicionament en motors d'IA (GEO/AEO): captem clients i fem que la teva marca aparegui on et busquen, també a ChatGPT, Gemini i Perplexity.

Més info

Tens un projecte en ment?

Explica'ns la teva visió i la convertim en una solució de programari. Sigui quin sigui l'abast, fem realitat la teva idea.