Els models de llenguatge visual (VLM) han assolit una capacitat assossegada per interpretar imatges i generar descripcions, però un dels majors desafiaments continua sent com quantificar quan no saben la resposta correcta. Aquest problema, conegut com a incertesa epistèmica, s'ha abordat tradicionalment analitzant la distribució de tokens de la resposta final. No obstant això, les investigacions recents apunten a un indicador molt més ric: les cadenes de raonament internes que alguns models generen abans de respondre. Així com els humans dubtem i reflexionem —de vegades amb esforç—, els VLMs que 'pensen' produeixen seqüències de pensament que poden revelar pistes sobre la seva veritable confiança. En aquest article explorem el fenomen de 'quan pensar dubta', on els senyals epistèmics extrets d'aquestes cadenes resulten ser predictors més fiables que les simples probabilitats de resposta, i com les empreses poden aprofitar aquesta perspectiva per construir sistemes d'intel·ligència artificial més robustos i transparents.
La novetat dels enfocaments recents rau en el el que no tots els models es comporten igual quan se' ls demana que generin una cadena de raonament. En avaluar mostres adversarials idèntiques, s' observen tres patrons qualitativament diferents. En el primer, l'entropia de la resposta col·lapsa per complet: el model no arriba a reflectir incertesa en el seu token final, amb la qual cosa la capacitat de detectar errors és pràcticament nul·la. En el segon, l'entropia es manté robusta, indicant que el model sap quan està insegur fins i tot sense necessitat d'analitzar el seu procés intern. El tercer patró, potser el més interessant, és el raonament selectiu: el model només genera cadenes de pensament en aproximadament la meitat de les consultes, i és precisament en aquests casos on la cadena ofereix un senyal més informatiu que la resposta final. Aquestes troballes suggereixen que la presència o absència de cadenes no és aleatòria, sinó que el mateix model decideix quan 'pensar' en funció de la dificultat de la pregunta.
Per què l'entropia de la cadena de raonament supera l'entropia de la resposta? La resposta sembla estar en la granularitat de la informació. Una cadena de raonament conté múltiples passos, cadascun amb la seva pròpia distribució de tokens. Quan el model dubta, aquest dubte es manifesta en la dispersió dels tokens al llarg de la cadena, mentre que el token final pot ser emès amb alta confiança encara que tot el procés previ sigui inestable. En altres paraules, la cadena actua com un 'termòmetre' de la incertesa que el model no pot ocultar en l'últim moment. Experiments en conjunts de dades com VQAv2 confirmen que l'entropia de la cadena (0.680) supera àmpliament la de la resposta (0.595), i la bretxa es torna encara més gran en preguntes de resposta lliure, on la creativitat del model pot ocultar la seva ignorància. Fins i tot en tasques de raonament més dures, com les que involucren al·lucinacions visuals, el senyal de la cadena continua sent moderadament útil, tot i que no perfecta.
Un aspecte addicional que emergeix d'aquestes anàlisis és l'abstenció estructurada: una fracció significativa de les consultes —entre el 12% i el 22%— són respostes amb algun tipus de rebuig explícit o implícit, especialment quan es pregunta per objectes que no són presents a la imatge. Aquest comportament asimètric revela que els models no sempre estan disposats a 'endivinar' i que el seu silenci o evasió pot ser un senyal epistèmic en si mateixa. De fet, implementar una porta d'abstenció pràctica —un llindar que decideix no respondre quan la incertesa és massa alta— permet elevar la precisió d'un 71% a un 93.8%, a costa de cobrir només el 62.7% de les consultes. Per a aplicacions empresarials on el cost d' un error és alt, aquesta compensació pot ser perfectament acceptable.
Des d'una perspectiva tècnica, aquests resultats tenen implicacions directes en el disseny de sistemes basats en intel·ligència artificial. En lloc de tractar el VLM com una caixa negra que produeix una resposta, podem instrumentar-lo perquè exposi la seva cadena de raonament i la sotmetem a una anàlisi d'entropia. Això és especialment rellevant per a solucions de ia per a empreses on la interpretabilitat i la confiança són requisits no negociables. Per exemple, en un sistema de diagnòstic assistit per imatge, un VLM que genera una cadena de raonament dubtosa pot ser derivat a un expert humà, en lloc de confiar cegament en una resposta que podria ser al·lucinada. Integrar aquest tipus de senyals epistèmics en els fluxos de treball permet construir agents IA més responsables i alineats amb les necessitats del negoci.
A Q2BSTudio entenem que la veritable potència de la intel·ligència artificial no resideix només en la precisió mitjana, sinó en la capacitat de saber quan no se sap. Per això desenvolupem aplicacions a mesura que incorporen mecanismes de quantificació d' incertesa, des de models de raonament encadenat fins a portes d' abstenció configurables. El nostre equip combina experiència en serveis cloud AWS i Azure amb un profund coneixement de xarxes neuronals profundes i models de llenguatge visual, permetent desplegar aquestes solucions a escala amb costos d'inferència optimitzats. A més, integrem dashboards de power bi i altres serveis intel·ligència de negoci perquè els equips puguin monitoritzar en temps real la confiança de les respostes i detectar patrons d'incertesa que requereixin intervenció.
La ciberseguretat també es beneficia d'aquest enfocament. Els atacs adversarials solen explotar la sobreconfiança dels models; si un VLM té un senyal epistèmic robust, és menys probable que sigui enganyat per imatges manipulades. Oferim serveis de proves de penetració i assessoria en ciberseguretat per avaluar la vulnerabilitat dels sistemes d'IA davant entrades malicioses, assegurant que les cadenes de raonament no es converteixin en un vector d'atac. Així mateix, els nostres projectes de programari a mida permeten personalitzar cada component, des de l'arquitectura del model fins al pipeline de dades, per adaptar-se als requisits específics de cada indústria.
En conclusió, la pròxima frontera en la confiabilitat dels VLMs passa per escoltar no només el que diuen, sinó com ho diuen. Les cadenes de raonament són finestres obertes al procés intern d'un model, i la seva anàlisi ofereix senyals epistèmics que poden transformar la forma en què les empreses adopten la intel·ligència artificial. Ja sigui per filtrar respostes dubtoses, entrenar models més conscients de la seva incertesa, o construir sistemes híbrids home-màquina, la lliçó és clara: quan pensar dubta, dubta també per al model, però aquest dolor és informació valuosa. A Q2BSTudi estem compromesos a extreure aquest valor per als nostres clients, combinant innovació tècnica amb un enfocament pragmàtic i orientat a resultats.


