En els darrers anys, els models de llenguatge i visió (VLM) han revolucionat tasques com la descripció d’imatges, la resposta visual a preguntes i fins i tot la generació de contingut multimèdia. Tanmateix, una paradoxa continua desconcertant investigadors i desenvolupadors: aquests sistemes, entrenats amb dades web massives, fallen estrepitosament en reconèixer emocions humanes, una habilitat que fins i tot classificadors unimodals de visió aconsegueixen superar. Què fa que la comprensió emocional sigui un punt cec per a la intel·ligència artificial més avançada? La resposta combina biaixos estadístics inherents a les dades d’entrenament, limitacions arquitectòniques en el processament temporal i una desconnexió fonamental entre el llenguatge i l’experiència afectiva humana.
Per entendre el problema, primer hem d’examinar com aprenen els VLM. Models com CLIP, Flamingo o GPT-4V s’entrenen amb parells text-imatge extrets d’internet, on les categories emocionals segueixen una distribució de cua llarga. Emocions com “felicitat” o “irritació” apareixen amb una freqüència desproporcionada en comparació amb expressions com “menyspreu”, “por subtil” o “sorpresa continguda”. Aquest desequilibri, ja present en conjunts de dades de reconeixement facial dinàmic (DFER), s’amplifica durant el preentrenament web, provocant que el VLM “col·lapsi” les categories minoritàries en les majoritàries. Per exemple, un microgest d’ansietat pot ser etiquetat erròniament com “neutral” o “tristesa” simplement perquè el model mai va aprendre a distingir matisos. Solucionar-ho requereix estratègies de mostreig alternatives, com sobremostreig ponderat o generació de dades sintètiques basades en trajectòries emocionals, cosa que a Q2BSTUDIO apliquem dins els nostres sistemes d’IA per corregir biaixos de representació en dades d’entrenament.
El segon repte és encara més tècnic i té a veure amb la naturalesa temporal de les emocions. Les expressions facials genuïnes, especialment les microexpressions, duren entre 0.25 i 0.5 segons. Aquests senyals fugaços són la clau per detectar engany, estrès o alegria autèntica, però els VLM actuals estan dissenyats per processar seqüències disperses de fotogrames clau (keyframes). La limitació del context (nombre de tokens que caben a la memòria) impedeix analitzar seqüències denses de vídeo a alta freqüència. Com a conseqüència, el model perd la informació situada entre fotogrames, just on ocorren les transicions emocionals més significatives. Una solució emergent és l’estratègia d’enriquiment contextual multietapa: convertir seqüències intermèdies en resums en llenguatge natural que s’injecten com a entrada textual juntament amb els keyframes. Aquest enfocament, explorat al paper de referència, evita la dilució atencional alhora que preserva la trajectòria afectiva. Implementar aquesta tècnica requereix combinar visió computacional amb processament de llenguatge natural i una orquestració eficient al núvol, capacitats que oferim des de els nostres serveis cloud AWS/Azure per garantir escalabilitat i baixa latència.
Des d’una perspectiva empresarial, aquestes limitacions tenen conseqüències directes en aplicacions crítiques: atenció al client automatitzada, avaluació de candidats en entrevistes virtuals, monitorització de fatiga en conductors o detecció de trastorns emocionals en telemedicina. Un VLM que no reconeix emocions amb precisió pot generar diagnòstics erronis, experiències d’usuari frustrants o fins i tot riscos de seguretat. Per mitigar-ho, cal desenvolupar software a mida que integri models híbrids, combinant VLM amb classificadors especialitzats i sistemes de raonament temporal. A Q2BSTUDIO, creiem que la clau està en dissenyar arquitectures que no depenguin exclusivament de dades preentrenades genèriques, sinó que incorporin coneixement del domini i refinament continu mitjançant aprenentatge per reforç amb retroalimentació humana (RLHF).
A més, la ciberseguretat juga un paper crucial quan es manegen dades biomètriques emocionals. Protegir la privacitat de les expressions facials i garantir que els models no siguin vulnerables a atacs adversaris (on una lleugera alteració a la imatge pot induir una classificació errònia) és una prioritat. Per això, les nostres solucions de ciberseguretat i pentesting asseguren que qualsevol sistema de reconeixement emocional desplegat en entorns productius compleixi amb els estàndards més exigents.
Un altre aspecte que sovint es passa per alt és la qualitat de les dades i l’analítica. La capacitat de mesurar el rendiment dels VLM en tasques emocionals requereix panells de BI avançats que monitoritzin mètriques com precisió per categoria, biaix demogràfic i deriva temporal. Implementar un dashboard de Power BI connectat a bases de dades en temps real permet als equips tècnics ajustar els models de forma àgil. A Q2BSTUDIO desenvolupem solucions de BI/Power BI que integren visualitzacions personalitzades per a algoritmes d’IA, facilitant la presa de decisions basada en dades.
Finalment, el camí cap a VLM emocionalment competents passa per l’automatització intel·ligent de processos, on els agents d’IA no només interpretin emocions, sinó que responguin de manera adaptativa. Per exemple, un assistent virtual de vendes que detecti frustració en el client podria derivar la conversa a un humà o canviar el to automàticament. Per aconseguir-ho, dissenyem sistemes d’automatització de processos amb agents d’IA que combinen reconeixement emocional, processament de llenguatge natural i orquestració de fluxos de treball. El repte està lluny de resoldre’s, però amb una combinació d’estratègies de mostreig corregides, representacions temporals enriquides i una arquitectura modular que integri aquestes capacitats, els VLM poden deixar de ser cecs emocionals per convertir-se en companys digitals realment empàtics.
