Los modelos de lenguaje y visión (VLMs) han demostrado capacidades impresionantes en tareas como descripción de imágenes, respuesta a preguntas visuales y razonamiento multimodal. Sin embargo, un fallo recurrente y desconcertante es su pobre rendimiento en tareas de conteo básico: preguntar cuántos objetos hay en una imagen a menudo lleva a respuestas incorrectas, incluso en situaciones simples. Investigaciones recientes revelan que el problema no reside en una falta de conocimiento interno del modelo, sino en una desconexión entre lo que el modelo sabe internamente y lo que es capaz de verbalizar. Este hallazgo abre nuevas vías para entender y corregir estos errores, y tiene implicaciones profundas para el desarrollo de aplicaciones de inteligencia artificial más fiables.
El estudio de referencia analiza cuatro modelos VLM frente a cinco conjuntos de datos de conteo. Mediante el entrenamiento de sondas lineales y no lineales sobre las activaciones internas de los modelos, los investigadores descubrieron que sondas no lineales pueden detectar cuándo el modelo va a cometer un error de conteo. Es decir, el modelo codifica internamente el número correcto de objetos, pero ese conocimiento no se traduce correctamente en la respuesta final. Este fenómeno es similar a cuando un estudiante sabe la respuesta pero se equivoca al expresarla. El análisis SVCCA (Singular Vector Canonical Correlation Analysis) muestra que las sondas entrenadas con valores verdaderos y las entrenadas con las salidas del modelo ocupan un subespacio de activaciones parcialmente compartido, pero las direcciones de lectura están desalineadas. Esto sugiere que las representaciones internas del conteo correcto existen, pero no se alinean con las representaciones que el modelo utiliza para generar el texto de salida.
La confirmación definitiva llega mediante intervenciones de steering causal: al reforzar las direcciones de las sondas que identifican el conteo correcto, el rendimiento del modelo mejora significativamente. Esto demuestra que el conocimiento interno es accesible y modificable. A partir de este hallazgo, los autores proponen un método de autocorrección guiado por detector: el modelo genera una respuesta, una sonda interna predice si esa respuesta será incorrecta, y solo en ese caso se vuelve a preguntar al modelo de manera diferente. Esta intervención en tiempo de inferencia, sin necesidad de actualizar parámetros, mejora la precisión de conteo hasta en 15,6 puntos porcentuales absolutos.
Para las empresas que integran inteligencia artificial en sus procesos, estas conclusiones son cruciales. Un modelo que sabe contar pero no lo dice bien puede generar errores costosos en aplicaciones como inventario automatizado, control de calidad visual, análisis de imágenes médicas o conteo de personas en entornos de seguridad. Entender que la falla está en la verbalización y no en la cognición permite diseñar estrategias de mitigación más efectivas que simplemente entrenar con más datos. Por ejemplo, se puede implementar un sistema de doble verificación: el modelo genera una respuesta, luego un detector interno evalúa la confianza en esa respuesta y, si es baja, se recurre a un proceso de razonamiento alternativo o se consulta a un humano.
En Q2BSTUDIO, como empresa de desarrollo de software y tecnología, aplicamos estos principios en nuestras soluciones de inteligencia artificial para empresas. Nuestro equipo diseña sistemas que no solo utilizan modelos preentrenados, sino que incorporan capas de verificación y corrección interna para mejorar la fiabilidad. Trabajamos en el desarrollo de aplicaciones a medida que integran agentes IA capaces de autoevaluarse y corregirse, lo que resulta especialmente útil en entornos donde el error tiene un alto coste.
Además, para que estos sistemas funcionen de manera robusta en producción, es necesario contar con una infraestructura sólida. Por eso ofrecemos servicios cloud aws y azure que permiten desplegar modelos de visión y lenguaje con baja latencia y alta disponibilidad. La gestión de los datos y la seguridad también son críticas; nuestras soluciones de ciberseguridad garantizan que los datos sensibles utilizados en estos modelos estén protegidos. Y para que las empresas puedan tomar decisiones basadas en estos resultados, integramos servicios inteligencia de negocio como power bi que visualizan las métricas de rendimiento de los modelos y los errores detectados, facilitando la mejora continua.
En definitiva, la investigación sobre la brecha entre el conocimiento interno y la verbalización en VLMs no solo es relevante para la academia, sino que tiene aplicaciones prácticas inmediatas. Nos permite construir sistemas de IA más transparentes, controlables y precisos. La próxima vez que un VLM falle al contar, recuerde que probablemente sí sabe la respuesta; solo necesita que le ayudemos a expresarla. Y en Q2BSTUDIO estamos preparados para diseñar esas ayudas, ya sea mediante software a medida o integrando técnicas de automatización de procesos con agentes inteligentes.
