La generació automatitzada d'Especificacions de Requisits de Programari (SRS) és un camp que ha cobrat gran rellevància amb l'aparició de models de llenguatge de gran escala (LLMs). Tanmateix, avaluar la qualitat d'aquestes especificacions generades continua sent un repte, principalment perquè pocs conjunts de dades ofereixen una traçabilitat detallada entre els requisits font, els artefactes intermedis i les especificacions finals. En aquest context, sorgeix ReqGenX, un estudi empíric que proposa transformar documents SRS heretats en artefactes pre-SRS sintètics traçables. Aquest enfocament permet una avaluació més granular de la generació de SRS basada en LLMs, exposant les inevitables tensions entre fidelitat, retenció d'informació i completesa dels artefactes.
La metodologia de ReqGenX es basa a descompondre seccions de SRS en afirmacions atòmiques, cadascuna vinculada a la seva font original. Aquestes afirmacions es classifiquen en tipus d'artefactes inspirats en estàndards mitjançant un sistema de votació plural amb múltiples LLMs. Posteriorment, es generen artefactes utilitzant indicacions restringides i un refinament iteratiu guiat per un jutge. Els resultats de l'estudi, aplicat sobre set documents SRS del conjunt PURE, mostren valors d'AlignScore entre 0,96 i 0,99 per a les afirmacions atòmiques, i entre 0,80 i 0,94 per als artefactes generats. Les taxes d'aprovació del jutge superen el 90% en la majoria dels casos, tot i que les avaluacions més estrictes amb Prometheus revelen taxes d'aprovació que oscil·len entre el 54,8% i el 97,1%.
El que és interessant d'aquest treball és que no només mesura la qualitat dels artefactes, sinó que també avalua la seva recuperabilitat en una reconstrucció descendent de SRS. En un cas d'estudi, les afirmacions atòmiques recolzades per artefactes es van mantenir recuperables, amb mitjanes de SBERT entre 0,69 i 0,75 i medianes d'AlignScore entre 0,76 i 0,84. Això demostra que és possible mantenir la traçabilitat fins i tot quan es generen especificacions completes a partir d'aquests artefactes.
Per a una empresa de desenvolupament de programari com Q2BSTUDIO, aquestes troballes tenen implicacions directes. La capacitat de descompondre requisits heretats en components atòmics traçables permet millorar la qualitat dels projectes d'aplicacions a mida. En integrar tècniques d'intel·ligència artificial en el procés d'elicitació i especificació, podem oferir als nostres clients solucions més precises i alineades amb les seves necessitats reals.
La descomposició atòmica no només facilita l'avaluació, sinó que també millora la gestió de canvis en projectes complexos. Quan un requisit canvia, és possible identificar exactament quines afirmacions atòmiques es veuen afectades i, per extensió, quins artefactes i especificacions s'han d'actualitzar. Això és fonamental en el desenvolupament d'aplicacions a mida, on els requisits evolucionen constantment. A Q2BSTUDIO, apliquem aquest principi en els nostres processos d'enginyeria de requisits, utilitzant eines de traçabilitat que es beneficien de la granularitat atòmica.
Un altre punt rellevant és la capacitat dels LLMs per generar artefactes a partir d'afirmacions atòmiques. ReqGenX demostra que, amb un refinament iteratiu, es poden obtenir artefactes d'alta qualitat. Tanmateix, l'estudi també exposa que existeix una relació inversa entre la fidelitat a la font i la completesa de l'artefacte. En un context empresarial, aquest trade-off s'ha de gestionar acuradament. Per exemple, en generar especificacions per a un sistema crític de seguretat, la fidelitat és primordial, mentre que en prototips ràpids es pot prioritzar la completesa. Els nostres equips a Q2BSTUDIO estan entrenats per equilibrar aquests criteris segons les necessitats del client.
La infraestructura al núvol és un habilitador clau per implementar l'enfocament de ReqGenX a escala. Els LLMs requereixen recursos computacionals significatius, i plataformes com AWS i Azure ofereixen entorns elàstics que s'ajusten a la demanda. A més, la capacitat d'executar múltiples instàncies de models en paral·lel accelera el procés de votació plural i refinament. A Q2BSTUDIO, dissenyem arquitectures al núvol que permeten als nostres clients aprofitar aquestes capacitats sense preocupar-se per la gestió de servidors.
En l'àmbit de la ciberseguretat, la traçabilitat atòmica permet realitzar anàlisis d'impacte de seguretat de manera precisa. Cada afirmació pot ser avaluada contra polítiques de seguretat i normatives. Si un artefacte conté informació sensible o vulnerabilitats potencials, es pot rastrejar fins al seu origen i aplicar pegats o mitigacions. El nostre servei de pentesting s'integra amb aquestes pràctiques, garantint que les especificacions generades siguin segures des del disseny.
La intel·ligència de negoci també se'n beneficia. Les dades de traçabilitat poden ser visualitzades en quadres de comandament de Power BI, mostrant l'estat de cada requisit, el seu origen i els artefactes associats. Això proporciona una visió completa del projecte als stakeholders, millorant la presa de decisions. A Q2BSTUDIO, implementem solucions de BI que es connecten directament amb les eines de gestió de requisits, oferint informes en temps real.
Finalment, la incorporació d'agents IA representa la següent frontera. Imaginem agents que no només generin artefactes, sinó que també negociïn amb els stakeholders per clarificar requisits ambigus, o que verifiquin automàticament la consistència entre afirmacions atòmiques. Tot i que ReqGenX utilitza un jutge iteratiu, la propera evolució podria incloure agents autònoms que prenguin decisions de refinament. A Q2BSTUDIO, estem investigant com integrar aquests agents en els nostres fluxos de treball de desenvolupament, utilitzant els nostres serveis d'intel·ligència artificial per augmentar la productivitat i reduir errors.
En resum, l'estudi ReqGenX ens ofereix un full de ruta per millorar la generació automatitzada de requisits mitjançant la descomposició atòmica i la traçabilitat. Per a empreses de desenvolupament com Q2BSTUDIO, aquesta metodologia s'alinea perfectament amb el nostre enfocament en qualitat, transparència i eficiència. Convidem els nostres clients a explorar com podem aplicar aquestes tècniques en els seus projectes de programari a mida, núvol, ciberseguretat, BI i intel·ligència artificial.
