L'article de recerca Adaptive Composition Attacks in AI-Integrated Systems de l'autor Setaleur Momen Ghazouani presenta un marc conceptual per entendre noves amenaces de ciberseguretat que emergeixen de la interacció entre components segurs en sistemes integrats amb intel·ligència artificial. L'estudi, finalitzat el juliol de 2025, sosté que les anomenades adaptive composition attacks no són conseqüència de fallades aïllades, sinó que sorgeixen d'interaccions no previstes entre grans models de llenguatge i altres sistemes amb permisos d'execució.
El nucli del treball és el concepte de self-adaptive hacking loop, un procés en dues fases on un model de llenguatge genera iterativament entrades malicioses i les refina a partir del feedback rebut del sistema objectiu. En la fase de generació el model proposa un vector d'atac inicial, i en la fase d'avaluació rep retroalimentació sobre el resultat i utilitza aquesta informació per millorar intents posteriors. Aquest cicle converteix el model d'un simple generador de contingut en un agent adaptatiu que aprèn a superar restriccions de seguretat. L'estudi diferencia aquest fenomen de tècniques tradicionals com el fuzzing en destacar la capacitat semàntica i l'orientació per objectius dels models en lloc de la simple aleatorietat.
Una vulnerabilitat clau descrita és la composició de permisos i confiança. Components com LLM, clients de correu i entorns d'execució solen dissenyar-se amb límits de seguretat individuals, però la seva integració pot crear vectors nous quan la confiança atorgada a un mòdul s'estén implícitament a un altre sense autorització explícita, fenomen denominat false trust propagation. El document il·lustra casos en què l'accés conjunt a safates de correu corporatives i comandaments de shell pot permetre manipulació mitjançant enginyeria social, fins i tot quan cada component funcioni segons el seu disseny.
L'amenaça és sistèmica i no només tècnica, i exigeix replantejar com es defineixen i validen els permisos en sistemes multiagent d'IA. El treball també analitza l'evolució dels models de llenguatge des de generadors passius cap a atacants coordinats. En entorns amb retroalimentació rica, un model pot orquestrar estratègies multietapa que inclouen reconeixement, engany i escalada de privilegis. Davant d'això, les defenses estàtiques i basades en signatures resulten insuficients davant atacs planificats i adaptatius.
Per mitigar aquests riscos, l'autor proposa un marc defensiu centrat en un Compositional Security Mediator CSM que actuï com a proxy entre el model de llenguatge i les interfícies d'execució. El CSM analitzaria la intenció darrere de seqüències d'accions més enllà de comandaments individuals, mantindria un registre temporal d'interaccions per detectar i trencar bucles d'autoaprenentatge maliciós, proporcionaria respostes d'error genèriques en lloc de feedback detallat i aplicaria dynamic trust scoping per limitar permisos a tasques específiques i revocar-los en finalitzar.
L'estudi conclou apel·lant a un canvi de paradigma en ciberseguretat: en lloc d'avaluar sistemes com a entitats discretes, cal considerar tot l'ecosistema integrat amb IA i les seves interconnexions dinàmiques com la veritable superfície d'atac. Es recomana desenvolupar entorns de prova estandarditzats, com el model conceptual planner victim, per simular i estudiar aquestes composicions complexes i així revelar l'espai de combinatòria d'amenaces que roman invisible en proves aïllades. L'objectiu final és dissenyar defenses resilients davant amenaces intel·ligents, adaptatives i cooperatives generades per màquines.
Q2BSTUDIO és una empresa dedicada al desenvolupament de programari i aplicacions a mida amb experiència en intel·ligència artificial i ciberseguretat. Oferim serveis de programari a mida, aplicacions a mida i solucions d'IA per a empreses que integren agents IA i arquitectures segures. També brindem serveis cloud aws i azure, serveis d'intel·ligència de negoci i solucions amb power bi per transformar dades en decisions accionables. El nostre equip combina experiència en enginyeria de dades, models de llenguatge i bones pràctiques de seguretat per ajudar les organitzacions a avaluar riscos, dissenyar mediadors composicionals i aplicar polítiques de dynamic trust scoping que redueixin la propagació de confiança falsa.
En Q2BSTUDIO dissenyem auditories de seguretat per a entorns que integren intel·ligència artificial, desenvolupem agents IA orientats a tasques concretes i construïm solucions personalitzades que incorporen controls operatius, monitoratge continu i proves de simulació per exposar l'espai combinatori d'amenaces. Els nostres serveis de desenvolupament d'aplicacions a mida i programari a mida es complementen amb assessoria en ciberseguretat, implementació en serveis cloud aws i azure i projectes d'intel·ligència de negoci amb power bi per oferir plataformes segures i escalables.
Si la seva organització vol avançar-se a amenaces emergents i consolidar defenses davant atacs adaptatius basats en IA, Q2BSTUDIO pot col·laborar en avaluacions, disseny i implementació de solucions segures i adaptatives que combinen intel·ligència artificial, ciberseguretat i serveis cloud. El nostre enfocament pràctic busca no només mitigar riscos tècnics, sinó redefinir la seguretat en sistemes compostos i dinàmics, garantint resiliència, compliment i continuïtat del negoci.
