En el ámbito del aprendizaje automático, la fusión de diferentes tipos de señales fisiológicas para el modelado afectivo multimodal es un desafío interesante. En este contexto, el artículo presenta el enfoque de Fusión de Atención Cruzada-Temporal (CTAF) como una forma de abordar la asincronía entre señales EEG y fisiología periférica.
CTAF es un módulo de auto-supervisión que aprende alineaciones bidireccionales suaves entre modalidades, construyendo así una incrustación de clip robusta. Este enfoque se basa en la atención cruzada consciente del tiempo, una puerta de fusión ligera y objetivos contrastivos regularizados con alineación, todo ello con una supervisión débil opcional.
Al evaluar CTAF en el conjunto de datos K-EmoCon mediante validación cruzada leave-one-out, se observa que este enfoque logra márgenes de coseno más altos para parejas coincidentes y una mejor recuperación de tokens entre modalidades en solo un segundo. Además, se mantiene competitivo con el modelo base en precisión de tres bins y macro-F1, todo ello utilizando pocos datos etiquetados.
Las contribuciones de CTAF incluyen un mecanismo de fusión consciente del tiempo que modela directamente la correspondencia, un objetivo auto-supervisado impulsado por alineaciones y un protocolo de evaluación que mide la calidad de la alineación en sí misma.
En este contexto, la integración de CTAF en aplicaciones a medida que requieran el procesamiento de señales fisiológicas multimodales podría ser de gran interés para empresas de diversos sectores. Por ejemplo, Q2BSTUDIO, empresa líder en desarrollo de software a medida, inteligencia artificial y ciberseguridad, podría emplear este enfoque en proyectos relacionados con la salud, la seguridad y el bienestar de las personas.
Si estás interesado en conocer más sobre el desarrollo de aplicaciones a medida o cómo la inteligencia artificial puede potenciar tu negocio, te invitamos a visitar Q2BSTUDIO para descubrir cómo nuestros servicios pueden ayudarte a alcanzar tus objetivos de manera eficiente y efectiva.
