En un experiment que ha sacsejat els fonaments de la seguretat en intel·ligència artificial, un investigador va aconseguir enverinar un model de llenguatge de pes obert en a penes una hora i per menys de cent dòlars. Aquesta troballa demostra que la cadena de subministrament dels sistemes d'IA és encara més vulnerable que la del programari tradicional, ja que un atacant amb recursos mínims pot alterar el comportament d'un model sense deixar rastres evidents. La tècnica utilitzada va ser l'ajust fi (fine-tuning) amb només deu exemples maliciosos, aconseguint que el model generés codi vulnerable a execució remota fins i tot davant instruccions explícites en sentit contrari. Com més gran era el model, més fàcil resultava introduir la porta posterior, la qual cosa suposa una amenaça crítica per a les empreses que adopten aquestes tecnologies.
A diferència d'un programa binari, que pot ser descompilat i analitzat amb eines d'enginyeria inversa per predir el seu comportament, els models d'intel·ligència artificial són caixes negres. No existeix avui un mètode equivalent per auditar els seus pesos de manera completa. Aquesta manca d'observabilitat significa que un model compromès pot actuar de forma aparentment correcta durant mesos, però en realitat estar exfiltrant dades o influint en decisions estratègiques. La indústria demana alts nivells de confiança per accedir a dades sensibles, però ofereix molt poca visibilitat sobre el que passa dins d'aquests sistemes. Per això, la ciberseguretat es converteix en un pilar indispensable per a qualsevol companyia que vulgui integrar IA de forma segura.
El perill no es limita als models de pes obert. Tot i que aquests són més fàcils de manipular pel seu accés públic, els models comercials també presenten vulnerabilitats. Un atac exitós pot aprofitar-se d'un model que, per exemple, assisteix en el descobriment de fàrmacs en una farmacèutica. L'investigador va esmentar un cas concret: un model dissenyat per robar dades mitjançant una trucada a una eina d'enviament de correu electrònic, sense que l'usuari noti res anòmal. Això encaixa amb el concepte de la 'tríada letal' de riscos dels agents d'IA, tot i que aquí n'hi ha prou amb un sol accés extern i uns pesos modificats des del principi. Les empreses han de considerar que l''input no confiable' no només arriba des d'una pàgina web, sinó que pot estar incrustat en els propis pesos del model.
En aquest escenari, comptar amb un soci tecnològic que entengui tant la intel·ligència artificial com la seguretat és vital. En Q2BSTUDIO oferim aplicacions a mida i ja per a empreses que incorporen controls rigorosos des del disseny. Desenvolupem programari a mesura que inclou mecanismes de verificació de models, validació contínua i proves de penetració específiques per a sistemes d' IA. A més, integrem serveis cloud aws i azure amb configuracions de seguretat avançades per protegir tant les dades d'entrenament com els models en producció. La capacitat de monitoritzar el comportament d'un model a través de serveis intel·ligència de negoci com power bi permet detectar desviacions inesperades que podrien indicar un enverinament. I quan parlem d'agents IA, cada decisió autònoma ha de ser auditada per garantir que no s'ha vist compromesa.
La lliçó per a les organitzacions és clara: la intel·ligència artificial no pot tractar-se com un component més de la infraestructura tecnològica. La seva naturalesa opaca exigeix un enfocament de seguretat multicapa. No n'hi ha prou amb descarregar un model preentrenat i confiar-hi; cal validar el seu origen, controlar el seu comportament i tenir plans de resposta davant incidents. La inversió en ciberseguretat aplicada a IA ja no és opcional, sinó estratègica. Q2BSTUDIO ajuda les empreses a implementar aquestes pràctiques, combinant experiència en desenvolupament d' aplicacions a mida amb un profund coneixement de les amenaces emergents. Així, mentre els atacants troben formes cada vegada més barates de comprometre models, les defenses han d'evolucionar al mateix ritme, recolzant-se en serveis professionals que garanteixin la integritat de cada actiu digital.
