Pot una intel·ligència artificial distingir entre allò que coneix i allò que no, fins i tot abans de generar una resposta? Un estudi recent sobre els models Bielik —una família de models de llenguatge de gran escala desenvolupats per al polonès— suggereix que sí. Analitzant la dispersió de les activacions a les capes internes de la xarxa, els investigadors van separar entitats reals d’inventades amb una precisió gairebé perfecta (AUROC entre 0,95 i 1,00). Tanmateix, la troballa més sorprenent és que aquest senyal de familiaritat no es correlaciona amb la fiabilitat factual de les respostes. Un model pot “saber” que una entitat és coneguda i, tot i així, generar informació errònia. Aquesta bretxa obre preguntes profundes sobre com dissenyar sistemes d’intel·ligència artificial més transparents i robustos, especialment en entorns empresarials on la veracitat de les dades és crítica.
L’experiment, realitzat amb quatre versions de Bielik (d’1,5B a 11B paràmetres), va enfrontar els models a preguntes sobre atletes, ciutats, escriptors i músics, incloent noms molt coneguts, obscurs però reals, i completament ficticis. Dues mètriques no supervisades —la taxa de participació inversa i l’entropia espectral— van aconseguir separar les entitats fabricades de les reals amb una fiabilitat vora l’absoluta. Fins i tot un classificador lineal supervisat va assolir valors propers al 100%. El senyal és tan robust que es manté quan s’avaluen noms reals enfront d’obscurs (AUROC 0,96-1,00) i es transfereix entre dominis d’entitats. És a dir, els models “saben” internament si un nom els resulta familiar, independentment que encertin o no la resposta.
Però aquí ve la paradoxa: mentre que la familiaritat és detectable amb una sola passada cap endavant, la fiabilitat factual no ho és. En el conjunt d’atletes coneguts, separar les respostes correctes de les al·lucinacions va ser molt més difícil (AUROC 0,93 amb un classificador supervisat, i les mètriques de dispersió no van superar una línia base basada en l’entropia del primer token). A més, la fiabilitat factual escala fortament amb la mida del model: de 0 encerts en 42 preguntes per al model d’1,5B, fins a 19 per al d’11B. La familiaritat, en canvi, ja està saturada des dels 1,5B paràmetres. Això suggereix que ambdós són fenòmens diferents, amb corbes d’escalat diferents, i que la mera consciència interna no garanteix que la informació generada sigui correcta.
Per a les empreses que depenen de la intel·ligència artificial per prendre decisions —des de xatbots d’atenció al client fins a sistemes d’anàlisi de dades— aquesta distinció té implicacions pràctiques enormes. Un assistent pot semblar segur i confiat (perquè reconeix l’entitat), però generar respostes errònies que poden portar a males decisions de negoci, pèrdues financeres o riscos de compliment normatiu. És aquí on cobra sentit el desenvolupament de solucions a mida que incorporin capes de verificació i control de qualitat. A Q2BSTUDIO, per exemple, integrem models de llenguatge amb mecanismes de validació externa, bases de coneixement curades i pipelines de testing que permeten detectar aquestes al·lucinacions abans que arribin a l’usuari final. No n’hi ha prou amb entrenar models més grans; cal dissenyar arquitectures que sàpiguen quan callar o consultar una font fiable.
Un altre aspecte rellevant de l’estudi és que els models gairebé mai s’abstenen de respondre: de 2.520 respostes auditades, només hi va haver 2 rebuigs i 1 evasiva. Això contrasta amb la capacitat interna de detectar la manca de familiaritat. Si un model “sap” que no coneix una entitat, per què no es nega a respondre? La raó probable és que els objectius d’entrenament —maximitzar la probabilitat de la següent paraula— no penalitzen prou les respostes incorrectes. Per solucionar-ho, calen tècniques avançades d’ajust, com l’aprenentatge per reforç amb retroalimentació humana (RLHF) o la integració d’agents crítics que avaluïn la confiança abans de generar.
Des d’una perspectiva empresarial, la lliçó és clara: la intel·ligència artificial no és una caixa màgica. Darrere de cada resposta hi ha un complex procés d’activacions que podem monitoritzar i auditar. Les eines d’Business Intelligence (BI) i visualització de dades, com Power BI, permeten construir panells que mostrin aquests índexs de familiaritat i fiabilitat en temps real, ajudant els analistes a detectar possibles al·lucinacions. Combinat amb serveis cloud a AWS o Azure, es poden desplegar pipelines que executin proves de coherència automàtiques abans que una resposta passi a producció.
La ciberseguretat també hi té un paper: un model que al·lucina pot ser explotat per injectar informació falsa en sistemes crítics. Per això, a Q2BSTUDIO oferim serveis de pentesting i auditoria de models d’IA, avaluant no només la robustesa davant atacs adversaris, sinó també la consistència interna de les representacions. El senyal de dispersió que detecten els investigadors podria convertir-se en una mètrica de seguretat: si un model mostra activacions anòmales per a certes entitats, podria ser indici d’un intent d’enverinament o de biaix no desitjat.
L’estudi amb Bielik ens recorda que el camí cap a una IA fiable passa per entendre què passa dins de la xarxa neuronal, no només a la sortida. La familiaritat i la fiabilitat són dues cares d’una mateixa moneda, però cadascuna requereix estratègies diferents. Mentre la primera pot mesurar-se amb una sola passada, la segona exigeix validació externa, mostreig múltiple (com l’entropia semàntica amb cinc mostres que amb prou feines va assolir un AUROC de 0,71-0,83) o, millor encara, sistemes híbrids que combinin models generatius amb motors de verificació. En el món empresarial, on cada resposta incorrecta pot costar diners i reputació, invertir en aplicacions a mida que incorporin aquestes capes de control no és un luxe, és una necessitat.
En conclusió, els models de llenguatge com Bielik tenen una sorprenent capacitat per distingir allò que coneixen d’allò que no, però aquesta consciència interna no equival a veritat. Per a les empreses que busquen adoptar IA de manera segura i efectiva, el repte està en construir ponts entre la representació interna i la veracitat externa. A Q2BSTUDIO, ajudem els nostres clients a dissenyar i desenvolupar aquestes solucions, integrant cloud, agents intel·ligents, ciberseguretat i BI per garantir que la intel·ligència artificial no només sembli saber, sinó que realment sàpiga. Perquè al final, el que importa no és el que el model creu, sinó el que podem demostrar.
