GOVERN D'IA

Seguretat en aplicacions fetes amb IA: el que la demo no t'ensenya

Un agent pot escriure en una tarda una aplicació que funciona. Que funcioni no vol dir que sigui segura: qui hi entra, què ve cada rol, quines dependències arrossega, on són les claus i què passa amb les dades quan algú les demana per la URL equivocada.

Per què una app generada és diferent

Una aplicació escrita per un agent s'assembla molt a una escrita per una persona amb presses: resol el cas feliç i deixa les vores per després. La diferència és la velocitat. El que abans trigava tres setmanes a arribar a producció ara arriba en un dia, i amb això arriben abans també els forats.

Les fallades típiques no són exòtiques. Una pantalla que mostra més dades de les que el rol hauria de veure, una consulta que concatena text en lloc de fer servir paràmetres, un fitxer pujat sense validar el tipus, una clau d'API escrita al frontend o una dependència afegida per l'agent que porta una vulnerabilitat coneguda.

El problema de fons és que l'agent optimitza perquè l'aplicació funcioni, no perquè resisteixi algú que la vol trencar. I en una empresa, l'aplicació que va començar sent una eina interna acaba tenint dades de clients i accessos reals.

Revisar no vol dir desconfiar de la IA: vol dir aplicar al que produeix el mateix criteri que s'aplica a qualsevol codi que va a producció, amb l'avantatge que aquí es pot automatitzar gairebé tot.

EL REPTE

Aplicacions que funcionen i no estan protegides

El codi generat per IA sol resoldre el cas feliç; el que falla és el que ningú li va demanar: permisos, validació i tractament de dades.

  • Permisos d'adorn

    L'aplicació comprova el rol a la interfície, però l'API respon a qualsevol que conegui l'adreça.

  • Entrades sense validar

    Formularis que accepten qualsevol cosa i consultes construïdes amb text de l'usuari: la via més directa a una injecció.

  • Secrets a la vista

    Claus escrites al codi o al repositori, visibles per a qualsevol amb accés al projecte i difícils de rotar després.

ENFOCAMENT

Revisar com a atacant, corregir com a enginyer

No n'hi ha prou amb un escàner: proven els fluxos reals de l'aplicació amb les tècniques que usa un atacant i arreglem amb criteri de mínim privilegi.

  1. Mapa de superfície

    Inventariem rutes, formularis, pujades de fitxers i crides internes: tot el que rep dades de fora.

  2. Proves d'atac controlades

    Verifiquem injecció, control d'accés trencat, XSS i pujada de fitxers, amb evidència de cada intent i del seu resultat.

  3. Correcció al codi

    Validació al servidor, permisos comprovats a l'API i secrets moguts a configuració segura, no pedaços a la interfície.

  4. Verificació posterior

    Repetim les proves després de cada correcció: una troballa es tanca quan l'atac falla, no quan s'ha escrit el fix.

ENTREGABLES

Evidència que l'atac ja no funciona

Informe tècnic amb reproducció de cada troballa i prova que la correcció tanca el vector.

  • Informe de seguretat

    Troballes classificades per severitat, amb la petició concreta que les provoca i el seu impacte real en el negoci.

  • Codi corregit

    Canvis aplicats al repositori amb revisió, proves i desplegament controlat a test abans de producció.

  • Dependències sanejades

    Llibreries amb vulnerabilitats conegudes actualitzades o substituïdes, amb la versió corregida verificada.

  • Regles de defensa

    Configuració de capçaleres, límits de pujada i registre d'errors perquè l'aplicació no torni a caure en el mateix.

CONFIANÇA

Seguretat aplicada, no teòrica

Revisem i endurim aplicacions empresarials des del 2008, amb presència a Barcelona i Madrid i col·laboració remota a Espanya, Europa, LATAM i EUA. Pràctiques alineades amb OWASP i sensibilitat ENS, amb el codi sempre al teu poder.

  • Cada aplicació que neix a Citizen hereta autenticació, rols i comprovacions de permisos al servidor.
  • Revisió de dependències i dels controls habituals abans de cada pas a producció.
  • Secrets en vault per projecte, mai al codi ni al xat, i entorns amb dades separades.
  • Evidència documentada per a auditoria: què es va revisar, amb quin resultat i qui ho va aprovar.

Dubtes

Preguntes sobre seguretat d'aplicacions fetes amb IA

Tens un projecte en ment?

Explica'ns què necessites sobre seguretat d'aplicacions fetes amb IA. T'ajudarem a convertir-ho en un pla viable i clar.