Agents d'IA capaços, provats i sota control

Poden revelar dades, actuar amb permisos excessius, utilitzar eines inesperadament, generar respostes incorrectes o augmentar costos. El risc depèn de l'accés i de l'impacte de les teves accions. Es redueix amb identitat, menys privilegi, validació, límits d'eines, registres i revisió humana.

El mateix cicle s'aplica a qualsevol programari: propietari, repositori corporatiu, revisió de dependències, secrets, proves, desplegament controlat i manteniment. La generació assistida accelera el codi, però per si sola no demostra seguretat, correcció ni drets d'ús.

Només les fonts necessàries per al seu propòsit i segons la identitat de l'usuari o del compte del servei. Els permisos es controlen a l'origen, filtres, abasts i eines, no només a través d'instruccions al model. Les respostes sensibles poden requerir cites, portar mascareta o aprovació.

Amb conjunts de casos representatius, criteris de qualitat i seguretat, proves de regressió i revisió d'errors. Per a accions, paràmetres, permisos, idempotència i recuperació es comproven. Les avaluacions es versionen juntament amb els prompts, el model i les eines.

És una decisió humana o validació dins del flux de l'agent. És convenient quan una acció és irreversible, afecta les persones, mou diners, publica contingut sensible o té una baixa tolerància a l'error. El punt d'aprovació ha de mostrar un context suficient i estar registrat.

Les configuracions estan versionades i es generen registres estructurats amb execució, model, eines, resultats i errors, evitant emmagatzematge innecessari de dades sensibles. La retenció i l'accés a aquests registres s'adapten a la seguretat, la privacitat i la necessitat operativa.

Qualitat normal i limitada, permisos, injecció de prompts, dades sensibles, errors d'eines, latència, cost, concurrència, observabilitat i recuperació. També valida l'experiència de l'aprovació i resposta humana quan una dependència falla.

S'assignen pressupostos, límits, models per cas, memòria cau quan escau, i mètriques per aplicació o equip. Les alertes detecten desviacions i canvis de model passen l'avaluació. Optimitzar el cost no hauria de reduir els controls ni la qualitat per sota del nivell acordat.