El curador cec: un jutge esbiaixat frena l'evolució dels agents. Els sistemes d'IA autònoms no milloren simplement afegint paràmetres. Milloren quan són capaços d'acumular habilitats útils i retirar les que fallen. En un agent auto-evolutiu, la retirada és una restricció estructural: una biblioteca d'habilitats que no es poda acaba per sota de la línia base de no utilitzar cap habilitat. El problema és que la poda necessita un senyal fiable de fracàs. Quan l'avaluador és un model de llenguatge utilitzat com a jutge, aquest senyal pot estar corrupte. I la corrupció no és soroll: és un interruptor que apaga el curador.
Per entendre-ho, imaginem una biblioteca d'habilitats en producció. Cada habilitat és una rutina que l'agent pot executar: redactar un resum, generar una consulta, transformar una dada. L'agent observa el resultat, rep una recompensa i decideix si conserva o retira l'habilitat. Si la recompensa és precisa, el cicle funciona. Si el jutge aprova sistemàticament errors, el senyal desapareix. La retirada per contribució deixa d'operar. L'agent no perd la capacitat de fer coses, però perd la capacitat d'abandonar allò que no funciona. Aquest estancament és difícil de detectar perquè les habilitats defectuoses continuen presents i de vegades produeixen resultats parcialment acceptables.
En tasques amb referència objectiva, com ara càlculs o classificacions, la recompensa és clara. En tasques sense referència, com escriure informes o respondre preguntes obertes, no hi ha una veritat única. Per avaluar-les, els equips utilitzen models de llenguatge com a jutges. Un jutge basat en un model de llenguatge és ràpid i barat, però no és neutral. Té preferències estilístiques, al·lucina criteris i, sobretot, pot tenir un llindar lax. Quan la laxitud és asimètrica, els errors no es compensen. Els errors que passen com a èxits no són una fracció de soroll. Són un corrent que inunda el sistema de retroalimentació.
La diferència entre soroll simètric i biaix de fals aprovat és fàcil de confondre. Soroll simètric: el jutge de vegades suspèn una bona habilitat i de vegades aprova una de dolenta. Si la taxa és equilibrada, el curador continua funcionant, perquè rep prou senyals vertaders de fracàs. Biaix de fals aprovat: el jutge rarament suspèn res, fins i tot quan ho hauria de fer. L'agent deixa de veure fracassos. No hi ha res a retirar. És un fals oasi d'èxit. El resultat és que la biblioteca d'habilitats s'omple de rutines incompetents que sobreviuen perquè ningú no les desafia.
Hi ha un llindar, no un pendent. A partir de cert nivell de falsos aprovats, la retirada basada en contribucions es desconnecta. Afegir més dades no ajuda, perquè les noves dades passen pel mateix jutge i arrosseguen el mateix biaix. El sistema aprèn a ignorar el senyal, o pitjor, a confondre l'èxit amb l'absència de crítica. Aquest mecanisme falla de manera universal, en diferents dominis i amb diferents taxes de fallada. Només resisteixen els jutges gairebé perfectes, similars a un verificador automàtic, amb una taxa de falsos aprovats propera a zero.
Un estudi conductual recent sobre generació d'informes sense referència, amb verificació creuada mitjançant codi, mostra una cosa inquietant. Quan s'injecta corrupció sobre una recompensa determinista, el soroll simètric deixa intacta la retirada. El biaix de fals aprovat la trenca. A més, si se separa la retirada genuïna de la rotació per límit de capacitat, es veu que la fallada no és de l'agent, sinó del mecanisme d'avaluació. El curador no està prenent decisions: està sent eludit.
El resultat final, però, no sempre és visible. En alguns règims, la mateixa corrupció que desconnecta el curador també redueix la síntesi de noves habilitats. Llavors la qualitat de les respostes cau. En altres règims, la qualitat agregada es manté. El curador està deshabilitat, però les mètriques convencionals no ho reflecteixen. Per això és una fallada de seguretat conductual, no una fallada de rendiment. Un operador pot supervisar panells, taxes d'èxit i avaluacions humanes sense veure que el sistema ha deixat d'evolucionar. El senyal no és a la sortida, sinó al procés.
La solució pràctica és auditar el jutge abans de confiar-hi. La injecció de defectes és un procediment barat: es prenen habilitats reals, se'ls introdueix una fallada coneguda i s'envien al jutge sense que l'agent ho sàpiga. Si el jutge les aprova, sabem que és al costat incorrecte del llindar. Si les detecta, podem desplegar l'agent amb més seguretat. Aquesta auditoria no necessita grans volums de dades. Pot executar-se en la integració contínua i repetir-se cada vegada que canviï el model de jutge o el domini d'aplicació.
Per a les empreses, la lliçó és directa. Un agent d'IA que no pot retirar males habilitats és un passiu. Produeix informes que semblen correctes, automatitza processos amb errors ocults i acumula deute tècnic. La confiança en l'auto-evolució ha d'estar recolzada per mecanismes de verificació i per un disseny de producte que faci visible allò que el model no diu. A Q2BSTUDIO, empresa de desenvolupament de programari i tecnologia, ajudem a construir aquests sistemes amb una perspectiva de seguretat aplicada. El desenvolupament d'aplicacions a mida permet introduir l'auditoria de jutges i la gestió de biblioteques d'habilitats dins l'arquitectura del producte. Les solucions d'intel·ligència artificial es dissenyen amb circuits de validació externs, no amb una sola capa d'autoavaluació.
A més, utilitzem infraestructura cloud AWS/Azure per executar avaluacions massivament i emmagatzemar traces de cada decisió del jutge. Amb BI/Power BI construïm quadres de comandament que monitoritzen l'evolució de les habilitats, el nombre de retirades i els falsos aprovats detectats. La ciberseguretat juga un paper essencial: un jutge manipulat és un vector d'atac silenciós. Si algú injecta exemples dissenyats per enganyar l'avaluador, l'agent pot internalitzar comportaments maliciosos. Per això, l'auditoria del jutge no és només una pràctica de qualitat; és una mesura de seguretat imprescindible.
En definitiva, el curador cec és un risc real en el desenvolupament d'agents autònoms. Un jutge esbiaixat no afegeix soroll: desactiva el mecanisme que manté la biblioteca d'habilitats per sobre de la línia base. La fallada és universal, encara que els símptomes variïn. L'única manera de saber si el curador continua connectat és injectar defectes i observar la reacció del jutge. Les organitzacions que adopten aquesta pràctica abans del desplegament protegeixen l'evolució dels seus agents i eviten que l'èxit aparent oculti un estancament real.
