La creixent adopció d’agents d’intel·ligència artificial capaços d’interactuar amb aplicacions digitals ha obert un nou front en el desenvolupament de programari: la comunicació fluida i natural entre l’usuari i la màquina. Aquests assistents no només executen tasques com demanar aliments o gestionar cites, sinó que han de preguntar, confirmar i notificar quan una instrucció no és viable. No obstant, els benchmarks existents per avaluar aquestes interaccions solen ser limitats, operant en entorns reduïts amb poques API i sense el dinamisme de l’usuari real. És aquí on sorgeix AppWorld-UL, un nou estàndard que posa l’usuari al centre i desafia els agents a gestionar ambigüytats i restriccions quotidianes.
AppWorld-UL es construeix sobre l’ecosistema d’AppWorld, que inclou nou aplicacions populars simulades com Amazon i Spotify. La diferència clau és que les tasques originals han estat modificades sistemàticament per introduir escenaris on l’agent ha d’interactuar amb l’usuari: demanar aclariments, sol·licitar confirmació o informar sobre la impossibilitat de completar una acció. El comportament de l’usuari és simulat per un model de llenguatge gran (LLM) amb fronteres de coneixement acuradament dissenyades, oferint una simulació més fiable que els enfocaments rígids o sense restriccions anteriors.
Els resultats són reveladors. El model més avançat de Claude Opus 4.7 tot just assoleix un 48,6% d’èxit a AppWorld-UL, i al subconjunt compositiu (tasques que requereixen múltiples passos) baixa al 35,7%. Sota una mètrica més estricta a nivell d’escenari, el rendiment en tasques compositives cau al 21,3%. Això demostra que la interacció correcta amb l’usuari és un factor crític per a l’èxit de l’agent, molt per sobre de la mera capacitat d’executar API.
Per a les empreses que busquen integrar assistents intel·ligents en les seves operacions, aquestes troballes subratllen una realitat: no n’hi ha prou amb desplegar un model de llenguatge; cal un disseny acurat de l’experiència d’usuari i de l’arquitectura de diàleg. A Q2BSTUDIO, comprenem que el desenvolupament d’aplicacions a mida ha de prioritzar la sinergia entre el programari i les persones. La incorporació d’agents d’IA que entenguin el context, que preguntin quan sigui necessari i que evitin falses seguretats, és una línia de treball que abordem amb metodologies àgils i proves iteratives.
El benchmark AppWorld-UL posa de manifest la importància de dissenyar sistemes que manegin l’ambigüyt. En un entorn empresarial, un agent que gestiona comandes d’inventari o que atén consultes de clients ha de ser capaç de distingir quan una instrucció és incompleta i demanar més detalls. Això requereix no només sofisticació en el processament del llenguatge natural, sinó també una integració sòlida amb el backend. Aquí és on la intel·ligència artificial que oferim a Q2BSTUDIO es combina amb infraestructures cloud com AWS o Azure per garantir escalabilitat i baixa latència.
La ciberseguretat és un altre pilar essencial quan parlem d’agents que interactuen amb dades sensibles de l’usuari. Un assistent que demana confirmació per fer un pagament o que accedeix a informació personal ha d’operar sota protocols estrictes de protecció. A Q2BSTUDIO, les nostres solucions de ciberseguretat estan dissenyades per salvaguardar cada interacció, auditant tant el codi com els fluxos de dades.
Des de la perspectiva de l’anàlisi de negoci, la capacitat d’un agent per recollir informació de l’usuari i prendre decisions basades en dades és fonamental. Les eines de Business Intelligence (BI), com Power BI, es poden integrar amb aquests agents per generar informes en temps real sobre les interaccions, ajudant les empreses a identificar patrons de comportament i àrees de millora. Q2BSTUDIO ofereix serveis de BI / Power BI que potencien la visibilitat d’aquests processos.
L’automatització de processos també es beneficia dels avenços en interacció agent-usuari. En lloc de fluxos rígids, els assistents intel·ligents poden adaptar el seu comportament segons les respostes de l’usuari, reduint la fricció i augmentant l’eficiència. A Q2BSTUDIO, desenvolupem solucions d’automatització que incorporen diàlegs contextuals, permetent a les organitzacions escalar les seves operacions sense perdre el toc humà.
Tornant a AppWorld-UL, el fet que els models més avançats ensopeguin precisament en les interaccions compositives revela un desafiament d’enginyeria: la necessitat d’una planificació jeràrquica i una gestió d’estat robusta. Un agent que ha de demanar un article, verificar disponibilitat, confirmar amb l’usuari i després processar el pagament requereix un model de memòria i una capacitat de raonament que va més enllà de la simple generació de text. Les tècniques de fine-tuning amb exemples de diàleg i la integració de motors de regles poden millorar significativament aquests resultats.
Per a les empreses que estan explorant l’ús d’agents d’IA en les seves aplicacions, recomanem adoptar un enfocament incremental. Començar amb tasques ben definides i poca ambigüyt, i anar introduint complexitat a mesura que el sistema demostra solvència. L’avaluació ha d’incloure no només la taxa de finalització de tasques, sinó també la qualitat de la interacció: si l’usuari se sent comprès i si els temps de resposta són acceptables. En aquest sentit, eines com AppWorld-UL poden servir com a banc de proves per comparar diferents arquitectures i models.
A Q2BSTUDIO, comptem amb experiència en el desenvolupament de programari a mida i en la implementació de solucions cloud que suporten aquests agents. El nostre equip treballa amb tecnologies d’última generació, incloent models de llenguatge grans i plataformes com AWS i Azure, per garantir que cada interacció sigui segura, ràpida i rellevant. A més, integrem dashboards de BI que permeten als nostres clients monitoritzar el rendiment dels seus agents i ajustar les seves estratègies en temps real.
La conclusió és clara: els agents del futur no només executaran ordres, sinó que mantindran converses productives amb els usuaris. AppWorld-UL ens recorda que el camí cap a aquesta meta encara té obstacles, però també ofereix una guia per superar-los. A Q2BSTUDIO, estem preparats per acompanyar les empreses en aquesta transformació, combinant intel·ligència artificial, ciberseguretat, cloud i Business Intelligence en solucions que realment marquen la diferència.
Si esteu interessats a desenvolupar o millorar un assistent intel·ligent per al vostre negoci, no dubteu a contactar-nos. Analitzarem les vostres necessitats i us proposarem una arquitectura que posi l’usuari al centre, tal com exigeix aquest nou paradigma.
