Omplir formularis pot semblar una tasca trivial per a un humà, però per a un agent de programari representa un repte tècnic de primera ordre. Quan el formulari és una imatge pura —sense OCR, sense DOM, sense etiquetes semàntiques— la dificultat es multiplica. L'agent ha de reconèixer visualment els camps, comprendre instruccions en llenguatge natural, recuperar informació personal o empresarial i, finalment, omplir cada espai amb precisió mil·limètrica. Aquest escenari apareix freqüentment en processos d'incorporació digital, cumplimentació de documents administratius, declaracions fiscals, sol·licituds de crèdit o inscripcions en plataformes governamentals. Fins ara, la majoria dels benchmarks per a agents gràfics se centraven en entorns web estructurats, deixant de banda el món real dels documents escanejats o fotografiats.
Per omplir aquest buit, un equip d'investigadors ha presentat FormGym, un benchmark dissenyat específicament per avaluar la capacitat d'agents intel·ligents en l'ompliment de formularis des del domini purament visual. El corpus inclou 432 camps distribuïts en 55 documents reals, abastant tres tasques diferents que requereixen manejar 236 atributs per cada usuari simulat. Els resultats inicials són reveladors: els models d'agent visual i lingüístic (VLA) d'última generació tot just superen l'1% de precisió en la majoria dels casos, fallant sobretot en la localització espacial dels camps. Els agents d'interfície gràfica tradicionals (GUI agents) aconsegueixen entre un 10,6% i un 68%, però amb costos computacionals i latències molt elevats. Per millorar aquesta situació, l'estudi introdueix FieldFinder, una eina d'assistència que ajuda els models de llenguatge (LLM) a identificar on s'ha de col·locar cada text al formulari. Amb FieldFinder, tots els models milloren el seu rendiment, assolint en el millor cas un salt del 2% al 56%.
Aquestes dades tenen implicacions directes per al desenvolupament de solucions empresarials. A Q2BSTUDIO, empresa especialitzada en aplicacions a mida, sabem que l'automatització de l'ompliment de formularis és una demanda creixent en sectors com banca, assegurances, logística i administració pública. La capacitat d'un sistema per processar un document escanejat i extreure la informació necessària sense intervenció manual estalvia hores de treball i redueix errors. No obstant, com demostra FormGym, la tecnologia actual encara pateix problemes de precisió, sobretot en la localització de camps. Aquí és on entren en joc solucions complementàries: models de llenguatge entrenats amb dades específiques del domini, tècniques de visió per computador millorades amb xarxes neuronals convolucionals, i la integració d'eines com FieldFinder que actuen com un 'copilot' visual per al LLM.
Des d'una perspectiva tècnica, el benchmark planteja tres tasques progressives: ompliment de camps simples, ompliment condicionat a regles de negoci (per exemple, si el tipus de document és passaport, el camp nacionalitat ha de ser el país emissor), i ompliment amb informació externa que requereix consultar una base de dades o una API. Aquesta última tasca reflecteix amb precisió escenaris reals on l'agent ha de recuperar dades de clients, productes o comandes des de sistemes CRM o ERP. Per a una empresa com Q2BSTUDIO, que ofereix serveis de IA i agents IA personalitzats, aquests desafiaments són el pa de cada dia. Construir un agent que llegeixi un formulari escanejat, interpreti la pregunta 'Indiqui el seu número de pòlissa' i després consulti un sistema de back-end per obtenir aquesta dada, requereix orquestrar múltiples capacitats: OCR assistit, raonament semàntic, integració amb APIs i una interfície d'usuari que mostri el progrés a l'operador.
L'estudi també evidencia la importància de la ciberseguretat en aquest tipus de processos. Quan un agent maneja dades sensibles —noms, adreces, números d'identificació fiscal—, la transmissió i l'emmagatzematge han de complir amb normatives com el RGPD o la LOPDGDD. Una solució mal dissenyada podria exposar informació confidencial si no s'implementen mesures de xifratge, control d'accés i auditoria. A Q2BSTUDIO integrem ciberseguretat en cada capa del desenvolupament, des de l'autenticació de l'agent fins a la comunicació amb serveis cloud. Precisament, la infraestructura cloud AWS/Azure és un habilitador clau: permet escalar els processos d'ompliment de formularis amb alta disponibilitat, i allotjar models d'IA que requereixen GPU potents. A més, els serveis de BI/Power BI poden consumir les dades extretes dels formularis per generar dashboards de rendiment, detecció d'anomalies o compliment normatiu.
La mètrica de cost i latència esmentada en els experiments de FormGym és un altre factor crític per a l'adopció empresarial. Un agent que triga 30 segons a omplir un camp i consumeix crèdits d'API cars no és viable per processar milers de formularis al dia. Per això, l'optimització del model —mitjançant tècniques com quantització, destil·lació o pruning— és una àrea de treball que a Q2BSTUDIO abordem amb metodologies àgils. Combinem models preentrenats amb ajust fi sobre conjunts de dades propietaris, i avaluem el rendiment en entorns reals abans de passar a producció. L'ús d'eines com FieldFinder demostra que no sempre cal un model més gran; de vegades, un assistent extern ben dissenyat pot suplir les mancances del model base.
D'altra banda, la investigació obre la porta a aplicacions més ambicioses. Si un agent és capaç d'omplir formularis des d'imatges, també podria verificar que el contingut sigui correcte, corregir errors i fins i tot signar digitalment el document. Això connecta directament amb la tendència de automatització intel·ligent de processos (IPA), on robots de programari (RPA) potenciats amb IA gestionen fluxos complets des de la recepció d'un escaneig fins a l'arxiu en una base de dades. A Q2BSTUDIO desenvolupem aquest tipus de solucions modulars: un mòdul d'adquisició d'imatges, un motor de reconeixement, un gestor de regles de negoci i un connector amb sistemes legacy. L'experiència amb benchmarks com FormGym ens permet calibrar millor les expectatives i triar l'arquitectura més adequada per a cada client.
En suma, FormGym no és només un benchmark acadèmic; és una fotografia realista de l'estat de l'art en una àrea que afecta desenes de processos empresarials. Els resultats subratllen que encara queda camí per recórrer, especialment en la localització visual i en l'eficiència computacional. No obstant, eines com FieldFinder demostren que es poden aconseguir avenços significatius combinant models de llenguatge amb mòduls especialitzats. Per a les empreses que busquen digitalitzar els seus processos de gestió documental, l'estratègia més sensata és recolzar-se en partners tecnològics amb experiència en múltiples disciplines: programari a mida, intel·ligència artificial, ciberseguretat i cloud. A Q2BSTUDIO oferim exactament aquesta visió integrada, ajudant els nostres clients a convertir un desafiament tècnic en un avantatge competitiu.
