La creixent adopció de models de llenguatge de gran escala (LLMs) en tasques d'enginyeria inversa de binaris ha generat una ona d'expectatives en la indústria de la ciberseguretat i el desenvolupament de programari. No obstant això, la capacitat real d'aquests models per comprendre i reconstruir la lògica de funcions compilades continua sent un terreny pantanós. El principal repte no és la potència del model en si, sinó la fiabilitat amb què podem alinear el codi binari amb la seva font original, especialment quan intervenen les optimitzacions del compilador. En aquest context sorgeix REFORGE, un pipeline traçable que construeix una veritat fonamental a nivell de funció a partir de codi font C, passant per compilació, extracció sintàctica i de DWARF, alineació i descompilació. La seva proposta clau és operacionalitzar la incertesa d'alineació mitjançant un embut de confiança de vuit comportes i una estratificació en tres nivells. Els resultats d'un microbenchmark controlat mostren que el rendiment d'alta confiança cau del 87.2\% al 65.9\% en variar els nivells d'optimització, i que les comparacions no aparellades sobreestimen la degradació induïda per l'optimització a causa del biaix de supervivència. Això subratlla la necessitat de pràctiques d'avaluació conscients de la incertesa.
Per a la indústria del programari, aquesta investigació té implicacions profundes. A Q2BSTUDIO, empresa especialitzada en desenvolupament de programari a mida i tecnologies avançades, entenem que l'adopció d'intel·ligència artificial en processos de seguretat i anàlisi requereix marcs de validació sòlids. Un LLM que no pot alinear de manera fiable un binari amb la seva font sota diferents optimitzacions no només falla en precisió, sinó que introdueix riscos en auditories de codi, detecció de vulnerabilitats i descompilació automatitzada. Per això, projectes com REFORGE són crucials: ofereixen una metodologia per mesurar la veritable capacitat dels models, evitant conclusions enganyoses basades en dades de prova seleccionades.
El pipeline de REFORGE comença amb la compilació de codi font C amb diferents banderes d'optimització, generant binaris que després s'analitzen mitjançant extracció DWARF i sintàctica. L'alineació entre funcions binàries i les seves homòlogues en el codi font es realitza amb un seguiment de procedència, donant lloc a un embut de confiança de vuit etapes. Cada etapa filtra casos dubtosos, permetent estratificar les funcions en tres categories: alta confiança, confiança mitjana i baixa confiança. Aquest disseny revela que moltes funcions aparentment avaluables en realitat no poden alinear-se de forma fiable, cosa que distorsiona els resultats si s'ignoren aquestes exclusions. En l'estudi, la taxa de funcions amb alta confiança es va reduir significativament en augmentar les optimitzacions, demostrant que el rendiment aparent dels LLMs pot ser un artefacte de la selecció de mostres.
En l'àmbit de la ciberseguretat, on les anàlisis de binaris ajuden a descobrir portes posteriors o errors de memòria, disposar de LLMs fiables podria accelerar la identificació d'amenaces. No obstant això, sense una avaluació rigorosa com la que proposa REFORGE, el risc de passar per alt funcions crítiques que no s'alineen correctament és alt. Les empreses que busquen integrar intel·ligència artificial en els seus fluxos de seguretat han d'exigir transparència en els benchmarks i en la forma de construir les veritats fonamentals. Q2BSTUDIO, amb la seva oferta de serveis en cloud AWS/Azure i intel·ligència artificial, ajuda organitzacions a desplegar solucions d'anàlisi de codi i ciberseguretat que incorporen aquestes millors pràctiques, garantint que els models s'entrenen i avaluen sobre bases sòlides.
Més enllà de l'enginyeria inversa, el problema de l'alineació incerta afecta qualsevol tasca on es relacioni codi binari amb font, com la depuració remota, la migració de sistemes legacy o la verificació de pedaços. La metodologia de REFORGE pot estendre's a altres llenguatges i arquitectures, proporcionant un estàndard per a l'avaluació de LLMs en dominis crítics. A Q2BSTUDIO desenvolupem programari a mida que integra aquestes tècniques d'avaluació, juntament amb solucions de BI amb Power BI per monitoritzar el rendiment de sistemes, i agents d'IA que automatitzen tasques d'anàlisi. La combinació de cloud, intel·ligència artificial i ciberseguretat forma un ecosistema on la fiabilitat és la moneda de canvi.
En conclusió, REFORGE no és només un banc de proves, sinó una crida a la comunitat a adoptar avaluacions més honestes. Per a les empreses de tecnologia, ignorar la incertesa d'alineació és com construir un pont sense calcular les càrregues dinàmiques. L'enginyeria inversa assistida per IA té un potencial enorme, però només si mesurem correctament els seus límits. Des de Q2BSTUDIO promovem la innovació responsable, oferint serveis que abasten des del desenvolupament d'aplicacions multiplataforma fins a la implantació d'agents intel·ligents, sempre amb un enfocament en la qualitat i la transparència. La propera vegada que un LLM afirmi entendre el seu binari, pregunteu-vos: quanta confiança tinc en aquesta alineació?
