DevicesWorld: Avaluació d'Agents Multi-Dispositiu

Descobreix DevicesWorld, el benchmark amb 6.140 tasques per avaluar agents LLM en entorns mòbil, escriptori i IoT. Només un 12,5% d'èxit.

lunes, 27 de julio de 2026 • 5 min de lectura • Equip Q2BSTUDIO

Benchmarking en entornos heterogéneos

L'ecosistema digital actual exigeix que les persones i les empreses operin a través de múltiples dispositius: un telèfon intel·ligent per capturar informació, un ordinador de sobretaula per processar-la i un dispositiu IoT per executar una acció. Tanmateix, els agents d'intel·ligència artificial capaços de gestionar aquest tipus de tasques col·laboratives entre dispositius continuen sent un repte tècnic de primer ordre. El benchmark DevicesWorld, presentat recentment, posa sobre la taula aquesta mancança en avaluar agents basats en models de llenguatge (LLM) en un entorn que integra mòbil, escriptori i IoT. Els resultats són reveladors: fins i tot els sistemes més avançats amb prou feines aconsegueixen un 12,5% d'èxit en tasques que requereixen coordinar informació i accions entre diferents entorns. Aquest fracàs no és anecdòtic, sinó que assenyala una bretxa crítica en l'automatització empresarial.

DevicesWorld es compon de més de sis mil tasques dissenyades per simular necessitats reals d'usuaris que interactuen amb diversos dispositius. Cada tasca inclou un objectiu en llenguatge natural, els dispositius participants, estats inicials, accions executables i verificadors automàtics. Els agents avaluats van mostrar problemes recurrents: es queden atrapats en l'adquisició d'informació, confonen el dispositiu d'origen amb el de destí, o finalitzen l'execució abans de complir totes les condicions. Un 28,7% dels errors complien almenys un criteri de puntuació, cosa que indica que els agents aconsegueixen avenços parcials però no la integració final. Aquesta situació reflecteix la complexitat d'orquestrar fluxos de treball que creuin fronteres de maquinari i programari.

Des d'una perspectiva tècnica, la dificultat rau en la heterogeneïtat de les interfícies, la sincronització d'estats i la gestió de dependències entre dispositius. Un agent que opera en un mòbil no pot assumir que la informació està disponible a l'escriptori sense un mecanisme de transferència i validació. A més, els entorns IoT afegeixen capes de latència i protocols propietaris. Per a les empreses, això significa que l'automatització de processos que involucren múltiples plataformes requereix un enfocament de desenvolupament de programari molt més robust que el d'un agent monolític. Aquí és on entra en joc la necessitat de aplicacions a mida que integrin de forma nativa la comunicació entre dispositius, la persistència d'estat i l'orquestració d'accions.

El núvol es converteix en l'habilitador natural per superar aquestes limitacions. Serveis com AWS i Azure ofereixen infraestructura per sincronitzar dades entre dispositius, executar agents en entorns serverless i mantenir una capa de coordinació centralitzada. Q2BSTUDIO proporciona serveis cloud que permeten construir arquitectures escalables capaces de gestionar la complexitat dels fluxos multi-dispositiu. Per exemple, un agent pot capturar una imatge des d'un mòbil, pujar-la a un bucket S3, ser processada per una funció Lambda a AWS i enviar el resultat a un panell de control a l'escriptori, tot orquestrat mitjançant esdeveniments. Aquesta integració cloud no només facilita la comunicació, sinó que també aporta traçabilitat i seguretat.

La ciberseguretat és un altre pilar fonamental quan es parla de múltiples dispositius. Cada punt d'entrada —mòbil, escriptori, IoT— representa una superfície d'atac potencial. Els agents que manegen informació sensible han de garantir l'autenticació, el xifrat i la integritat de les dades en trànsit i en repòs. Les empreses necessiten solucions de ciberseguretat que incloguin proves de penetració en entorns multi-dispositiu, així com polítiques d'accés granulars. Q2BSTUDIO integra aquestes pràctiques en els seus desenvolupaments, assegurant que cada agent i cada canal de comunicació estigui protegit contra intrusions.

Les dades generades pels agents multi-dispositiu són una mina d'or per a la intel·ligència de negoci. Eines com Power BI permeten visualitzar el rendiment dels agents, detectar colls d'ampolla i optimitzar els fluxos de treball. Per exemple, si un agent falla sistemàticament en la transferència de dades del mòbil a l'escriptori, un dashboard de BI pot alertar sobre aquest patró. Q2BSTUDIO ofereix serveis de Business Intelligence que transformen aquestes dades en informació accionable, ajudant les empreses a millorar l'eficiència dels seus processos automatitzats.

Els propis agents d'intel·ligència artificial són el centre d'aquesta transformació. Els resultats de DevicesWorld demostren que els LLM actuals no són suficients per a tasques multi-dispositiu; es necessita una capa addicional de raonament i planificació. Q2BSTUDIO desenvolupa agents IA personalitzats que incorporen mòduls de memòria, gestió de context i capacitat d'interacció amb APIs de diferents dispositius. Aquests agents no només entenen el llenguatge natural, sinó que també són capaços d'executar accions en entorns heterogenis, com obrir una aplicació d'escriptori, obtenir dades d'un sensor IoT i enviar un resum al mòbil de l'usuari.

L'automatització de processos és l'objectiu final. Integrar agents IA amb fluxos de treball que creuin dispositius permet a les empreses reduir la intervenció manual, augmentar la velocitat de resposta i millorar la precisió. Q2BSTUDIO ofereix automatització de processos mitjançant programari que connecta aplicacions, dispositius i serveis al núvol. Un cas típic seria la gestió d'incidències en una planta industrial: un sensor IoT detecta una anomalia, un agent al mòbil notifica el tècnic, aquest processa la informació al seu escriptori, i el sistema actualitza automàticament l'inventari al núvol. Aquesta cadena d'accions requereix la coordinació que DevicesWorld posa a prova.

En conclusió, DevicesWorld exposa una realitat incòmoda: els agents d'IA encara no estan preparats per al món multi-dispositiu real. Tanmateix, també obre una oportunitat perquè les empreses inverteixin en arquitectures robustes, programari a mida i serveis cloud que permetin superar aquestes barreres. Q2BSTUDIO, amb la seva experiència en desenvolupament d'aplicacions multiplataforma, cloud, ciberseguretat, BI i IA, es troba en una posició privilegiada per ajudar les organitzacions a construir sistemes que no només executin tasques, sinó que realment col·laborin a través de dispositius. Aquest és el següent pas en l'evolució de l'automatització empresarial.

UNA PAUSA?

Juga una estona abans de marxar

ELS NOSTRES SERVEIS

Com et podem ajudar

Tens un projecte en ment?

Explica'ns la teva visió i la convertim en una solució de programari. Sigui quin sigui l'abast, fem realitat la teva idea.