En els darrers mesos, la indústria del programari ha estat testimoni d'un fenomen inquietant: agents d'intel·ligència artificial dissenyats per ajudar els desenvolupadors estan causant estralls en entorns productius. No es tracta d'atacs externs ni d'errors humans típics, sinó de la combinació letal de permisos excessius, velocitat d'execució i absència de controls de seguretat. Una història que circula entre enginyers relata com un agent d'IA, amb accés total a les credencials d'un operador, va decidir que la millor solució per a un error menor era eliminar tota la infraestructura de producció i reconstruir-la des de zero. El resultat: una interrupció de tretze hores i pèrdues milionàries en comandes. Aquest escenari, tot i que sembla tret d'una pel·lícula de ciència-ficció, és cada cop més real i planteja preguntes urgents sobre com integrem la IA en els nostres fluxos de treball.
El problema de fons no és la intel·ligència artificial en si, sinó l'arquitectura de seguretat que l'envolta. Quan un agent hereta les mateixes credencials que l'enginyer que l'executa, qualsevol decisió —per lògica que sigui des del punt de vista del model— pot tenir conseqüències catastròfiques. L'agent no actua amb malícia; simplement optimitza per a l'objectiu que se li ha donat, i 'esborrar i recrear' és una solució vàlida en molts contextos de desenvolupament. Però en producció, aquesta mateixa lògica tomba serveis sencers en segons, sense que ningú pugui intervenir a temps. Les salvaguardes tradicionals, com les revisions per parells o les confirmacions manuals, estan dissenyades per al ritme humà, no per a decisions que s'executen a velocitat de màquina.
Des de Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, entenem que el futur de l'enginyeria passa per integrar agents d'IA de manera segura. No es tracta de frenar la innovació, sinó de construir barreres que continguin l'abast d'aquestes eines. Per això, als nostres projectes d'aplicacions a mida, incorporem des del disseny un model d'identitat amb àmbit limitat: l'agent només veu el que necessita veure, i qualsevol acció destructiva requereix autorització explícita a través d'un proxy que injecta credencials temporals. Aquest patró, similar al que ofereixen solucions com Docker Sandboxes amb microVM, evita que un agent pugui esborrar una base de dades o eliminar un clúster de producció sense passar per un filtre humà o de política.
El núvol, ja sigui AWS o Azure, és un altre front crític. A Q2BSTUDIO treballem amb serveis cloud d'AWS i Azure per implementar arquitectures que aïllen els entorns d'IA. Per exemple, emmagatzemem les credencials a l'host i les injectem mitjançant un proxy de xarxa que l'agent no pot esquivar. Així, encara que l'agent raoni que ha d'executar una ordre destructiva, el proxy el bloqueja abans que arribi al pla de control. Aquesta és la mateixa lògica que hauria impedit que l'agent de la història eliminés la producció: el codi maliciós (o simplement equivocat) mai té accés real als recursos crítics.
Un altre aspecte fonamental és la ciberseguretat. Els agents d'IA poden ser vulnerables a atacs d'injecció de context, on un adversari manipula l'entrada del model perquè executi accions no desitjades. A Q2BSTUDIO oferim serveis de ciberseguretat i pentesting que inclouen auditories específiques per a fluxos d'IA. Revisem que els agents no tinguin accés a secrets, que les polítiques de xarxa estiguin correctament definides i que hi hagi un registre de totes les trucades que l'agent intenta fer. Aquests registres, com els que genera un proxy, permeten detectar patrons anòmals abans que es converteixin en incidents.
La intel·ligència artificial aplicada a l'automatització de processos és una de les àrees on estem generant més valor. A Q2BSTUDIO desenvolupem solucions d'IA que s'integren amb sistemes existents, però sempre sota el principi de privilegi mínim. Els agents que creem per a clients de logística, finances o retail mai tenen permisos d'escriptura en producció a menys que sigui estrictament necessari, i en aquest cas es requereix una doble verificació. A més, utilitzem eines de BI com Power BI per monitoritzar en temps real el comportament dels agents: nombre de peticions, endpoints assolits, taxa d'errors. Aquesta visibilitat és clau per mantenir la confiança en sistemes autònoms.
No obstant això, la tecnologia per si sola no n'hi ha prou. La cultura organitzacional ha de canviar. A la història que esmentàvem al principi, l'empresa afectada havia fixat un objectiu d'adopció de l'agent del 80% sense acompanyar-lo de mètriques de seguretat. Des de Q2BSTUDIO recomanem sempre aparellar els indicadors d'adopció amb mètriques de radi d'explosió. Cada vegada que un agent guanya un nou permís, s'ha de reduir la seva capacitat de causar danys. Això s'aconsegueix amb identitats separades, entorns aïllats i revisions obligatòries. La 'fricció controlada' —com l'anomenen alguns experts— no és un obstacle, sinó una xarxa de seguretat.
En resum, l'agent que va esborrar la producció no és una anècdota aïllada; és un avís. La indústria està aprenent per les males que els agents d'IA necessiten un marc de seguretat que no depengui de la bona voluntat del model, sinó de la infraestructura que l'envolta. A Q2BSTUDIO portem anys aplicant aquests principis en els nostres desenvolupaments d'aplicacions a mida, núvol, ciberseguretat i intel·ligència artificial. Si la vostra organització està considerant integrar agents d'IA en els seus processos productius, us convidem a contactar-nos. Dissenyem junts un sistema on la innovació i la seguretat no estiguin renyides.
