En el món del desenvolupament de programari i la intel·ligència artificial, la qualitat de les dades d'entrenament és un factor crític. No obstant, els corpus de codi minats de la web sovint són caòtics, difícils de controlar i presenten problemes de contaminació, ja que fragments públics poden haver estat vists per models durant el seu entrenament. Per abordar aquestes limitacions, sorgeix una eina innovadora: Spaghetti Architect, un generador de datasets de codi etiquetat i multilingüe que permet a equips d'enginyeria i científics de dades produir conjunts de dades sintètics amb un control granular sense precedents.
Spaghetti Architect es basa en un transpilador d'anti-optimització que parteix d'una representació intermèdia (IR) neta i agnòstica al llenguatge, expressada en JSON. A partir d'aquí, genera programes deliberadament redundants i completament aplanats en cinc llenguatges de programació: Python, JavaScript, Go, Java i C++. Cada programa generat és compilat, executat i validat contra un oracle de referència, garantint que totes les instàncies siguin correctes per construcció. Això elimina la necessitat de dependre de codi 'salvatge' no verificat.
Una de les característiques més potents d'aquesta eina és la capacitat de graduar el 'desordre' (messiness) del codi mitjançant perfils d'anti-patrons estrictament niats. Això significa que els desenvolupadors poden generar programes que van des de codi net i llegible fins a versions intencionadament embullades, ideals per avaluar la robustesa de sistemes d'IA o per a proves de refactorització. A més, la dificultat es divideix en dos eixos ortogonals: la dificultat intrínseca, relacionada amb la mida del problema, i la incidental, lligada a la presentació del codi amb semàntica fixa. Per exemple, un mateix algorisme pot expressar-se de forma clara o amb complexitats superficials, permetent aïllar l'impacte de la llegibilitat en el rendiment de models de llenguatge.
Un altre avenç significatiu és la resistència a la contaminació de dades. Spaghetti Architect genera variants fresques a partir de llavors privades retingudes, de manera que el dataset no coincideix amb exemples públics d'Internet. Això és crucial per obtenir mesures realistes del rendiment de models de codi, evitant la inflació artificial causada per superposicions amb dades d'entrenament. En proves amb models de diferent mida, es va observar que la precisió de coincidència exacta (exact match) augmenta amb l'escala, mentre que el control de dificultat intrínseca pot col·lapsar la precisió en tasques aritmètiques fins i tot per als models més potents, demostrant un escalat controlable de la dificultat.
Els resultats també mostren que les puntuacions en conjunts de desenvolupament són pràcticament idèntiques a les de conjunts recent generats, amb diferències menors al 1.2% en comprensió i 1.1% en refactorització. A més, en programes idèntics, l'equivalència de refactorització millora dràsticament (de 0.73 a 0.99) i és invariant a l'escala del model, mentre que la predicció de sortida s'enfonsa. Això suggereix que els datasets generats permeten desacoblar les capacitats de comprensió de les de generació exacta.
Per a una empresa com Q2BSTUDIO, especialitzada en el desenvolupament d'aplicacions a mida, eines com Spaghetti Architect representen un habilitador estratègic. En integrar aquests datasets als seus fluxos d'entrenament de models d'IA, poden millorar la qualitat dels seus sistemes d'automatització i agents intel·ligents. Per exemple, en avaluar la capacitat d'un agent d'IA per refactoritzar codi heretat o generar proves unitàries, disposar de dades etiquetades amb nivells controlats de desordre i dificultat permet ajustar els models amb precisió quirúrgica.
En l'àmbit de la ciberseguretat, Q2BSTUDIO utilitza tècniques avançades d'anàlisi de codi per identificar vulnerabilitats. Disposar de datasets que simulin codi intencionadament embullat ajuda a entrenar models de detecció de patrons maliciosos, millorant la precisió dels pentesting automatitzats. La integració amb serveis al núvol, tant en AWS com Azure, facilita el desplegament d'aquests models a escala, mentre que les solucions de Business Intelligence amb Power BI es beneficien de pipelines de dades més nets generats per transformacions controlades.
La capacitat de generar codi en múltiples llenguatges és particularment valuosa per a Q2BSTUDIO, que treballa amb clients que utilitzen piles tecnològiques diverses. Des de Python per a ciència de dades fins a C++ per a sistemes encastats, passant per JavaScript i Go per a aplicacions web i microserveis, Spaghetti Architect ofereix un banc de proves unificat. Això permet als equips de desenvolupament comparar el rendiment de models d'IA en diferents llenguatges sense dependre de corpus heterogenis i mal documentats.
A més, la filosofia d''anti-optimització' obre possibilitats en el camp de l'automatització de processos. En simular codi 'perfecte' i després aplicar perfils de desordre, es pot mesurar exactament quant afecta la complexitat superficial als agents d'IA encarregats de refactoritzar o comprendre. Això és clau per dissenyar sistemes robustos que funcionin en entorns reals, on el codi no sempre està net. Q2BSTUDIO aplica aquests principis en els seus projectes d'automatització, garantint que les solucions lliurades siguin resistents a la variabilitat del codi font del client.
Un altre aspecte rellevant és l'etiquetatge ortogonal de dificultat. En separar la dificultat intrínseca (mida del problema) de la incidental (presentació), els equips poden identificar si un model falla per limitacions de capacitat computacional o per problemes de comprensió sintàctica. Això permet optimitzar els recursos de forma més eficient, per exemple, ajustant l'arquitectura d'un agent d'IA o refinant el preprocessament de les dades. En un context empresarial on el cost computacional importa, tenir aquesta granularitat és un avantatge competitiu.
La resistència a la contaminació també és vital per a Q2BSTUDIO quan realitza avaluacions comparatives per als seus clients. En utilitzar datasets generats amb llavors privades, les mètriques de rendiment reflecteixen fidelment la capacitat del model sense biaixos de memorització. Això genera confiança en els informes de benchmarking i en les recomanacions tecnològiques que l'empresa proporciona.
En resum, Spaghetti Architect no és només una eina acadèmica; és un recurs pràctic per a qualsevol organització que desenvolupi programari o intel·ligència artificial. La seva capacitat per generar datasets de codi multilingüe, etiquetats, correctes per construcció i amb control total sobre la dificultat i el desordre, el converteix en un aliat indispensable. Empreses com Q2BSTUDIO, que aposten per la innovació en desenvolupament d'aplicacions a mida, IA, ciberseguretat, núvol i BI, troben en aquesta eina un catalitzador per elevar la qualitat dels seus serveis i productes.
Si la seva organització busca millorar la robustesa dels seus models de codi, optimitzar processos d'automatització o simplement entendre millor com la presentació del codi afecta el rendiment dels sistemes, Spaghetti Architect ofereix una solució modular i gratuïta (MIT, sense dependències). A Q2BSTUDIO ja estem explorant la seva integració en els nostres fluxos de treball, i els resultats preliminars són prometedors: major precisió en agents d'IA, detecció més fina de patrons en ciberseguretat i un enteniment més profund de les limitacions dels models actuals.
