Els models de llenguatge i visió (VLMs) petits estan cada cop més presents en dispositius de consum, on les imatges d'entrada pateixen compressió, vibració de càmera o mala il·luminació. Un estudi recent revela una paradoxa preocupant: aquests sistemes saben quan s'equivoquen, però no ho diuen. Mentre que la confiança verbalitzada amb prou feines varia i detecta errors a l'atzar, la probabilitat interna dels tokens separa encerts de fallades amb una precisió gairebé perfecta. Per a una empresa de desenvolupament de programari com Q2BSTUDIO, que aposta per solucions d'IA robustes i fiables, aquesta bretxa té conseqüències directes en el disseny de sistemes que han de delegar o actuar amb autonomia.
L'estudi compara dos models oberts —Qwen2-VL-2B-Instruct i SmolVLM-Instruct— davant de sis degradacions fotogràfiques realistes amb tres nivells de gravetat. Analitza dos senyals de confiança: la que el model expressa en llenguatge natural (ex. 'estic 90% segur') i la mitjana de la probabilitat dels tokens generats. Sobre 3.800 prediccions, el patró és contundent. En Qwen2-VL, la confiança verbalitzada es manté gairebé constant (0,87-0,90) i detecta errors al nivell de l'atzar (AUROC 0,39-0,75, típicament ~0,50), mentre que la probabilitat interna arriba a AUROC de 0,92-0,99. En SmolVLM, obtenir la confiança verbal va resultar gairebé impossible: de cinc intents amb diferents plantilles, només un va produir un valor interpretable, mentre que la probabilitat interna novament va superar l'atzar (AUROC 0,54-0,92).
Ambdós models fallen al mateix punt: sota subexposició severa, la precisió s'enfonsa (de 0,99 a 0,22 en Qwen2-VL; de 0,97 a 0,42 en SmolVLM) sense que els senyals de confiança es moguin de manera apreciable, i la detecció interna d'errors cau al nivell de l'atzar. Això indica que els VLMs petits codifiquen un autoconeixement que no aconsegueixen verbalitzar, i que la probabilitat interna és, per tant, el millor senyal per a la delegació en desplegaments amb recursos limitats. Però cap dels dos senyals és fiable en condicions de llum molt baixa.
Des d'una perspectiva empresarial, aquesta troballa és crucial. Una aplicació que es refiï de la confiança expressada en llenguatge natural corre el risc d'actuar amb falsa seguretat en situacions degradades. Per exemple, un sistema de classificació visual en logística podria acceptar una imatge subexposada i cometre un error que la cadena de subministrament pagui car. Per això, a Q2BSTUDIO dissenyem aplicacions a mida que integren mecanismes d'incertesa interns, com l'entropia de les prediccions o la consistència entre models. A més, despleguem aquestes solucions sobre infraestructures cloud AWS i Azure que permeten escalar el processament i monitoritzar en temps real la fiabilitat dels models.
La ciberseguretat també hi juga un paper rellevant. Un VLM que verbalitza confiança de manera incorrecta pot ser explotat per atacs adversaris que degradin l'entrada per forçar decisions errònies. Per això, a Q2BSTUDIO integrem pràctiques de ciberseguretat i pentesting en cada desplegament d'IA, garantint que els sistemes no només siguin precisos, sinó també robustos davant de manipulacions. Així mateix, l'analítica de negoci amb Power BI permet a les empreses visualitzar l'evolució de la confiança interna dels models i detectar desviacions abans que afectin l'operació.
Els agents d'IA que construïm a Q2BSTUDIO incorporen exactament aquesta lliçó. En lloc de preguntar al model 'Estàs segur?' i esperar una resposta textual, extraiem directament les probabilitats internes i les combinem amb llindars dinàmics. Si la incertesa supera un límit, l'agent deriva la decisió a un humà o activa un procés de verificació addicional. Això és especialment rellevant en entorns com l'atenció mèdica, la conducció autònoma o la inspecció industrial, on un fals positiu o negatiu pot tenir conseqüències greus.
L'estudi també subratlla la importància de validar els models en condicions reals. Moltes empreses proven els seus VLMs amb imatges ideals i després se sorprenen en veure fallades en producció. La subexposició severa, per exemple, és comuna en entorns amb poca llum o en toms nocturns. El nostre equip de desenvolupament recomana sempre incloure un conjunt de validació amb degradacions realistes i mesurar no només la precisió, sinó la qualitat dels senyals de confiança. Només així es pot dissenyar un sistema de delegació fiable.
En resum, els VLMs petits saben que fallen però no ho diuen. La confiança verbalitzada és un miratge; el veritable coneixement està en les probabilitats internes. Per a les empreses que vulguin desplegar IA de forma responsable, és imprescindible adoptar arquitectures que capturin aquest senyal ocult. Q2BSTUDIO està preparat per ajudar: des de la consultoria inicial fins a la implementació d'agents d'IA, passant per la integració en cloud i la ciberseguretat. Si la teva organització necessita un sistema que sàpiga quan callar i quan actuar, contacta'ns. La diferència entre un model que encerta i un que enganya pot ser tan subtil com una probabilitat interna que mai es verbalitza.
