ViPSy: síntesis de preferencias visuales contra alucinaciones en VLM

Los modelos de lenguaje y visión (VLM) han alcanzado un rendimiento notable en tareas de comprensión visual, pero siguen presentando un problema crítico: las alucinaciones, es decir, la generación de contenido que no corresponde con la imagen real. Abordar este desafío es esencial para aplicaciones empresariales donde la precisión visual es clave, como la inspección automatizada o la asistencia en diagnóstico. Recientemente, un enfoque llamado ViPSy (Vision-driven Preference Synthesis) propone una metodología innovadora para construir datos de preferencia que alineen mejor las respuestas del modelo con la información visual, reduciendo significativamente las alucinaciones. En lugar de depender de intervenciones que desvían la distribución del modelo o de muestreos que subutilizan la imagen, ViPSy extrae señales visuales consistentes a partir de variaciones semánticamente alineadas de la misma escena. Luego condiciona las respuestas generadas por el propio modelo sobre esas señales, logrando candidatos que están cerca de su distribución natural pero con un anclaje visual más sólido. Los resultados experimentales muestran reducciones de alucinaciones del 35,7% en AMBER y del 24,5% en Object HalBench, además de mejoras en benchmarks de grounding visual como MMStar o MMVP. Este avance tiene implicaciones directas para la ia para empresas, donde contar con VLM fiables permite desarrollar agentes IA que interpreten correctamente entornos complejos. En Q2BSTUDIO, como empresa de desarrollo de software, integramos estas capacidades en aplicaciones a medida que requieren visión artificial robusta. Además, combinamos estos modelos con servicios cloud aws y azure para escalar inferencias de manera eficiente, y con servicios inteligencia de negocio como power bi para analizar resultados visuales en tiempo real. La ciberseguridad también se beneficia, ya que una visión libre de alucinaciones mejora la detección de objetos en videovigilancia. En definitiva, ViPSy no solo representa un hito en la investigación de VLM, sino que abre la puerta a soluciones de software a medida más precisas y confiables para sectores que exigen cero errores visuales.