CLEANER: Trajectòries autopurificades milloren l'aprenentatge per reforç

El entrenament de models de llenguatge de mida reduïda, com els que compten amb entre 4 i 7 mil milions de paràmetres, presenta un desafiament recurrent quan s'integren en sistemes d'aprenentatge per reforç amb capacitats d'ús d'eines. Durant la fase d'exploració, aquests models tendeixen a generar trajectòries errònies a causa de fallades d'execució, cosa que introdueix soroll a les dades d'entrenament. Aquest soroll provoca que, en utilitzar recompenses basades únicament en resultats finals, es reforcin inadvertidament accions incorrectes juntament amb les correctes, generant un problema d'assignació de crèdit. Les solucions prèvies, com les recompenses denses o el sobremostreig, solen caure en el sobreajustament o en costos computacionals prohibitius. Davant d'això, la proposta CLEANER —basada en el mecanisme SAAR (Similarity-Aware Adaptive Rollback)— explota la capacitat d'autocorrecció intrínseca del model per eliminar el context contaminat durant la recollida de dades, substituint fallades amb correccions exitoses i generant trajectòries autopurificades. El model resultant internalitza patrons de raonament correctes, evitant cicles de recuperació d'errors. Aquest enfocament ha demostrat millores de fins a un 6% en benchmarks com AIME24/25 i GPQA, a més d'assolir rendiment d'última generació utilitzant només un terç dels passos d'entrenament habituals. En el context empresarial actual, l'optimització d'agents IA per a entorns amb recursos limitats resulta clau. A Q2BSTUDIO, com a empresa especialitzada en ia per a empreses, entenem la rellevància de purificar les trajectòries d'aprenentatge per construir models més robustos. A més, oferim aplicacions a mida que integren aquests principis d'intel·ligència artificial amb serveis cloud aws i azure, ciberseguretat, i eines de serveis intel·ligència de negoci com Power BI. El nostre equip desenvolupa programari a mida que potencia l'automatització i l'anàlisi predictiva, permetent a les organitzacions aprofitar agents IA més fiables i eficients sense dependre d'infraestructures massives. L'autopurificació de trajectòries no és només una innovació acadèmica: és una via pràctica per escalar l'aprenentatge per reforç en productes reals, minimitzant sorolls i maximitzant la qualitat del raonament.