En el vertiginós món de la intel·ligència artificial, un dels debats més intensos gira al voltant de la capacitat dels agents automatitzats per aprendre de la seva pròpia experiència. Fins ara, la majoria dels benchmarks s'han centrat a avaluar si un agent completa una tasca o fa servir una eina, però rara vegada es pregunta si pot extreure lliçons de les seves pròpies execucions i convertir-les en habilitats reutilitzables. Aquí és on entra en joc el concepte d'EvoClawBench, una proposta que busca mesurar justament aquest bucle tancat d'aprenentatge: ¿pot un agent millorar el seu rendiment en una segona execució basant-se en el que va observar en la primera, sense intervenció humana?
La pregunta no és trivial. En entorns empresarials, els fluxos de treball repetitius —com la generació d'informes, la gestió d'incidències o la integració de dades— es beneficien enormement d'agents que no només executin, sinó que s'adaptin. Si un agent IA pot resumir la seva pròpia activitat, identificar patrons d' error i ajustar el seu comportament per a la propera vegada, estem davant d' un salt qualitatiu cap a l' autonomia real. Però els primers experiments revelen una realitat complexa: no tots els models es beneficien d'aquesta capacitat d'autoaprenentatge. Alguns fins i tot veuen degradat el seu rendiment en intentar incorporar habilitats auto-generades.
Aquesta troballa té implicacions directes per a les empreses que ja estan implementant ia per a empreses o planegen fer-ho. La temptació d'afegir un mòdul d'aprenentatge continu a qualsevol sistema pot ser contraproduent si no s'entén el context, el model base i la naturalesa de les tasques. Per això, des de Q2BSTUDIO recomanem sempre un enfocament mesurat: no es tracta d'afegir intel·ligència per afegir, sinó de dissenyar solucions on l'aprenentatge estigui alineat amb els objectius de negoci i la infraestructura existent.
El benchmark EvoClawBench avalua tres modes d'operació: execució directa sense habilitats prèvies, autoria d'habilitats abans de l'execució (PreSkill) i resum posterior a la primera execució (PostSkill) que alimenta una segona ronda. Els resultats mostren que el rendiment base depèn fortament del runtime utilitzat. Alguns agents mantenen una precisió superior al 96% en totes les maneres, mentre que d'altres cauen dràsticament en intentar usar habilitats auto-generades. Això suggereix que la capacitat d' aprendre de la pròpia execució és selectiva i sensible al cost computacional i a la qualitat del model subjacent.
Per a una empresa que desenvolupa aplicacions a mida, aquesta informació és or. No tots els processos són candidats a aquest tipus d' aprenentatge. Per exemple, tasques altament estructurades i amb poca variabilitat —com el parseu de factures o la classificació de tiquets— poden beneficiar-se d'un agent que memoritzi patrons d'èxit. En canvi, tasques creatives o que requereixen judici contextual (com la redacció d'informes estratègics) poden patir si l'agent s'aferra a habilitats basades en un únic exemple. Per això, en Q2BSTUDIO treballem amb els nostres clients per identificar quins processos mereixen un agent amb capacitat d'autoaprenentatge i quins han de seguir un enfocament més tradicional amb regles fixes.
La infraestructura també juga un paper crucial. Els experiments amb EvoClawBench mostren que el runtime local pot marcar diferències enormes entre models. Alguns agents simplement no estan dissenyats per gestionar el cicle de vida de les seves pròpies habilitats. Aquí entren en joc els serveis cloud aws i azure, que permeten escalar aquests sistemes de forma eficient i emmagatzemar l' historial d' execucions per a anàlisis posteriors. Una arquitectura cloud ben dissenyada pot recollir els logs de cada interacció, alimentar un motor d' aprenentatge i desplegar noves versions de l' agent sense interrompre el servei. En Q2BSTUDIO ajudem les empreses a construir aquesta capa d'infraestructura, integrant serveis cloud aws i azure amb plataformes d'agents IA.
Un altre aspecte que EvoClawBench posa sobre la taula és la importància de la qualitat de les dades d'entrenament i la diversitat de tasques. El benchmark cobreix 100 tasques en àmbits com codificació, dades, ofimàtica, seguretat, operacions i fluxos de treball documentals. Cadascuna d' aquestes àrees presenta desafiaments diferents. Per exemple, en el domini de la ciberseguretat, un agent que aprèn d'execucions anteriors podria identificar patrons d'atac recurrents i automatitzar respostes. No obstant això, si l'habilitat auto-generada és massa específica o conté biaixos, podria fallar davant d'una variant de l'atac. Per això, en dissenyar solucions de ciberseguretat per als nostres clients, en Q2BSTUDIO prioritzem la validació contínua de les habilitats apreses, combinant agents amb sistemes de regles i supervisió humana.
Més enllà de la seguretat, l'aprenentatge d'habilitats té un enorme potencial en l'àmbit de la intel·ligència de negoci. Un agent que genera informes recurrents a Power BI podria, després de diverses execucions, optimitzar les visualitzacions segons les preferències de l'usuari, o fins i tot proposar nous KPI basats en dades històriques. En Q2BSTUDIO oferim serveis intel·ligència de negoci que integren power bi amb agents IA capaços d'autoajustar-se, sempre sota la supervisió d'analistes. La clau està en no automatitzar cegament, sinó a crear un bucle de retroalimentació on l'agent aprèn de les correccions humanes i millora progressivament.
Tornant als resultats d'EvoClawBench, és notable que alguns models d'última generació —com GPT-5.4— mantinguin un rendiment excel·lent en totes les maneres, mentre que d'altres —com DeepSeek-V4-Pro— caiguin estrepitosament en intentar usar habilitats predefinides o post-execució. Això ens recorda que el debat no és només tècnic, sinó també estratègic. Elegir el model base adequat per a cada cas d' ús és tan important com dissenyar el sistema d' aprenentatge. En Q2BSTUDIO assessorem les empreses en la selecció de models i runtimes, realitzant proves pilot controlades abans de desplegar agents en producció. El nostre equip combina experiència en intel·ligència artificial amb un profund coneixement dels processos de negoci, assegurant que cada solució estigui optimitzada des del principi.
Finalment, el concepte d'EvoClawBench obre la porta a noves formes de pensar el desenvolupament de programari a mida. Si abans les aplicacions eren monolítiques i estàtiques, ara podem imaginar sistemes que es reescriuen a si mateixos parcialment, basant-se en la seva pròpia experiència. Això sí, amb cautela. Els experiments demostren que l'autoaprenentatge no és un benefici automàtic; requereix mètriques clares, entorns controlats i, sobretot, una comprensió profunda de les limitacions de cada model. Al final, el valor real no està en què un agent aprengui per aprendre, sinó que aquest aprenentatge es tradueixi en eficiència, reducció d' errors i millors decisions per a l' empresa.
En Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, estem compromesos a explorar aquestes fronteres al costat dels nostres clients. Ja sigui implementant aplicacions a mida amb capacitats d'autoaprenentatge, integrant serveis cloud aws i azure per escalar agents, o dissenyant dashboards de power bi que evolucionen amb el negoci, el nostre objectiu és convertir la promesa de la intel·ligència artificial en eines pràctiques, segures i rendibles. La lliçó d'EvoClawBench és clara: aprendre de la pròpia execució és possible, però requereix un disseny acurat, infraestructura adequada i, sobretot, un enfocament centrat en el valor real per a l'usuari.
