En el ámbito de los Modelos de Lenguaje Multimodales (MLLMs), la generación de imágenes inductoras de alucinaciones es un problema persistente que afecta la percepción de los objetos en las imágenes por parte del modelo. Este tipo de debilidad se ha abordado tradicionalmente a través de benchmarks estáticos con escenarios visuales fijos, lo cual limita la capacidad de identificar vulnerabilidades específicas del modelo o alucinaciones no previstas.
En Q2BSTUDIO, como empresa especializada en el desarrollo de software a medida y tecnología de vanguardia, entendemos la importancia de evaluar de manera exhaustiva la robustez de los MLLMs frente a estas situaciones. Por ello, se ha introducido GHOST (Generating Hallucinations via Optimizing Stealth Tokens), un método diseñado para someter a los MLLMs a pruebas de estrés mediante la generación activa de imágenes que inducen alucinaciones.
Este enfoque automatizado de GHOST no requiere supervisión humana ni conocimiento previo, ya que opera optimizando en el espacio de incrustación de imágenes para engañar al modelo mientras mantiene ausente al objeto objetivo. Posteriormente, se guía a un modelo de difusión condicionado a la incrustación para generar imágenes de aspecto natural que introducen pistas engañosas sutiles que causan alucinaciones en el modelo.
Además, en Q2BSTUDIO ofrecemos servicios de ciberseguridad y servicios cloud AWS y Azure, es importante destacar que GHOST ha demostrado ser efectivo en la identificación de vulnerabilidades transferibles. Por ejemplo, imágenes optimizadas para un modelo específico pueden inducir alucinaciones en otros modelos con tasas de éxito significativas, lo que resalta la importancia de evaluar la fiabilidad de los sistemas multimodales.
Finalmente, se ha comprobado que el ajuste fino de las imágenes generadas por GHOST puede mitigar las alucinaciones, lo que posiciona a este método como una herramienta tanto diagnóstica como correctiva para la construcción de sistemas multimodales más confiables. En Q2BSTUDIO estamos comprometidos con la innovación y la excelencia en el desarrollo de soluciones de inteligencia artificial y aplicaciones a medida para empresas.
Si estás interesado en conocer más sobre nuestros servicios de desarrollo de aplicaciones de software a medida, inteligencia artificial aplicada a empresas o servicios de ciberseguridad, ¡no dudes en contactarnos!
Más información sobre desarrollo de aplicaciones de software a medida