La intel·ligència artificial generativa ha fet un salt qualitatiu en la seva capacitat d'interacció amb sistemes empresarials. Ja no es tracta de models que només generen text: els agents d'IA poden ara invocar eines, consultar bases de dades, enviar missatges, modificar registres, executar workflows i cridar APIs internes. Això implica que la seguretat ja no depèn únicament del prompt, sinó d'una capa molt més crítica: la governança de les crides a eines. A Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, entenem que aquesta nova frontera exigeix un enfocament rigorós que combini polítiques d'accés, traçabilitat, aprovacions humanes i control d'identitat. No es tracta de limitar la innovació, sinó de garantir que cada acció de l'agent sigui auditada, autoritzada i reversible.
El canvi de paradigma és profund. En la seguretat d'aplicacions tradicionals, el codi segueix camins predefinits i les APIs es protegeixen amb autenticació i validació. Però un agent d'IA actua de forma probabilística: interpreta una sol·licitud, selecciona una eina, omple arguments, processa la resposta i decideix la següent acció. Aquest cicle pot amplificar errors si no es controla adequadament. Una descripció d'eina ambigua pot portar el model a triar l'equivocada; un esquema massa permissiu pot permetre paràmetres perillosos; l'absència d'un gate d'aprovació pot executar accions d'alt impacte sense supervisió. Per això, la governança d'eines es converteix en el veritable perímetre de seguretat per als agents empresarials.
El primer principi és que el model no ha de veure totes les eines disponibles. L'exposició ha de ser deliberada i filtrada per polítiques. L'agent ha de rebre només un conjunt reduït d'eines rellevants per a la tasca, autoritzades per a l'usuari i adequades al nivell de risc. Aquesta arquitectura d'estrenyiment evita que el catàleg d'eines es converteixi en el radi d'explosió de l'agent. A Q2BSTUDIO dissenyem sistemes on l'enrutament d'eines es combina amb polítiques d'identitat i aprovació, creant una capa de control que protegeix tant les dades com els processos de negoci.
No totes les eines presenten el mateix risc. Una consulta meteorològica no hauria de tenir el mateix flux d'aprovació que una actualització de base de dades. Cal classificar les eines per nivells de risc segons el seu impacte i reversibilitat. Les eines de només lectura poden ser automàtiques, mentre que les accions destructives o que afecten sistemes productius requereixen aprovació explícita, de vegades fins i tot doble. Per exemple, una eina que actualitzi la prioritat d'un ticket ha d'activar una aprovació si s'assigna un nivell crític, i una que esborri registres necessita autorització dual. A Q2BSTUDIO implementem aquestes polítiques mitjançant regles configurables que s'integren amb la lògica de l'agent, sense dependre de prompts fràgils.
L'observabilitat és un altre pilar fonamental. Cada crida a eina ha de deixar un rastre complet: quina eina es va considerar, quina es va seleccionar, amb quins arguments, quina decisió de política es va aplicar, si hi va haver aprovació, la resposta del sistema, els errors i l'acció de seguiment. Això no és només logging, és la cadena d'evidència necessària per depurar comportaments, explicar resultats a auditors, detectar usos indeguts i millorar el sistema. En projectes d'IA agentiva amb clients, des de Q2BSTUDIO incorporem telemetria basada en estàndards com OpenTelemetry, garantint que cada pas quedi registrat de forma immutable.
A més de les polítiques deterministes, els agents requereixen proteccions en temps d'execució. En ser sistemes probabilístics, dues execucions de la mateixa sol·licitud poden portar a resultats diferents. Els guardarraïls estadístics inclouen validació d'esquemes abans d'executar, llistes blanques i negres d'arguments, llindars de confiança, comprovacions de deriva semàntica, límits de taxa i pressupostos per sessió. Aquestes barreres s'han d'implementar com a controls de runtime, no amagades al prompt. En la nostra pràctica, combinem aquestes verificacions amb mecanismes de rollback automàtics per a accions reversibles, minimitzant l'impacte d'errors.
Un aspecte clau és diferenciar eines de subagents. Una eina executa codi determinista; un subagent és un altre sistema de raonament que pot planificar, cridar eines i prendre decisions intermèdies. La governança ha de ser més estricta per a subagents, ja que introdueixen bucles de raonament addicionals i poden heretar privilegis no desitjats. La recomanació és usar eines per a tasques acotades i subagents només quan es necessita raonament independent o aïllament de context. No per tenir una arquitectura més complexa s'obtenen millors resultats.
La implementació pràctica ha de ser gradual. No començar amb un catàleg de cent eines i un agent totalment autònom. Començar amb poques eines, assignar un propietari a cada una, definir el seu propòsit, nivell de risc, identitat requerida, comportament d'aprovació, requisits de telemetria i expectatives de rollback. Exposar les eines a través d'un gateway o runtime controlat, no directament al prompt. Afegir enrutament perquè el model només vegi eines rellevants, comportes de política abans d'accions d'alt impacte i captura de traces abans del primer pilot en producció. Aquesta seqüència manté l'agent útil mentre evita que l'accés a eines es converteixi en autoritat sense control.
A Q2BSTUDIO acompanyem les empreses en aquest recorregut, oferint serveis de desenvolupament d'aplicacions a mida amb integració d'agents d'IA, així com solucions de cloud a AWS i Azure que proporcionen la infraestructura escalable i segura necessària. La nostra experiència en ciberseguretat ens permet dissenyar polítiques de governança que protegeixen tant les dades com els processos de negoci. A més, combinem intel·ligència artificial amb eines de Business Intelligence com Power BI perquè les empreses puguin visualitzar i auditar cada acció de l'agent. L'automatització de processos és un altre pilar que es beneficia d'aquesta arquitectura, permetent workflows intel·ligents i segurs.
En conclusió, la governança de crides a eines és la nova frontera de seguretat en agents d'IA. El model no ha d'accedir a totes les eines per defecte, no ha d'executar accions d'alt impacte sense política, no ha d'actuar amb privilegis il·limitats i no ha de deixar els operadors endevinant per què es va seleccionar una eina. El disseny correcte redueix el conjunt d'eines, aplica identitat, controla accions arriscades, captura traces completes, valida arguments i defineix expectatives de rollback abans que els usuaris de producció depenguin de l'agent. Els prompts continuen sent importants, però una vegada que l'agent pot actuar, la superfície de control real és la capa d'eines. A Q2BSTUDIO estem preparats per ajudar les empreses a implementar aquesta governança de manera efectiva, combinant tecnologia, experiència i un enfocament pragmàtic.
