Los modelos de lenguaje y visión (VLMs) pequeños están cada vez más presentes en dispositivos de consumo, donde las imágenes de entrada sufren compresión, vibración de cámara o mala iluminación. Un estudio reciente revela una paradoja preocupante: estos sistemas saben cuándo se equivocan, pero no lo expresan verbalmente. Mientras que la confianza verbalizada apenas varía y apenas detecta errores, la probabilidad interna de los tokens separa aciertos de fallos con una precisión casi perfecta. Para una empresa de desarrollo de software como Q2BSTUDIO, que apuesta por soluciones de IA robustas y fiables, esta brecha tiene consecuencias directas en el diseño de sistemas que deben delegar o actuar con autonomía.
El trabajo compara dos modelos abiertos —Qwen2-VL-2B-Instruct y SmolVLM-Instruct— frente a seis degradaciones fotográficas realistas con tres niveles de gravedad. Analiza dos señales de confianza: la que el modelo expresa en lenguaje natural (ej. 'estoy 90% seguro') y la media de la probabilidad de los tokens generados. Sobre 3.800 predicciones, el patrón es contundente. En Qwen2-VL, la confianza verbalizada se mantiene casi constante (0,87-0,90) y detecta errores al nivel del azar (AUROC 0,39-0,75, típicamente ~0,50), mientras que la probabilidad interna alcanza AUROC de 0,92-0,99. En SmolVLM, obtener la confianza verbal resultó casi imposible: de cinco intentos con distintas plantillas, solo uno produjo un valor interpretable, mientras que la probabilidad interna nuevamente superó el azar (AUROC 0,54-0,92).
Ambos modelos fallan en el mismo punto: bajo subexposición severa, la precisión se desploma (de 0,99 a 0,22 en Qwen2-VL; de 0,97 a 0,42 en SmolVLM) sin que las señales de confianza se muevan de forma apreciable, y la detección interna de errores cae al nivel del azar. Esto indica que los VLMs pequeños codifican un autoconocimiento que no logran verbalizar, y que la probabilidad interna es, por tanto, la mejor señal para la delegación en despliegues con recursos limitados. Pero ninguna de las dos señales es fiable en condiciones de luz muy baja.
Desde una perspectiva empresarial, este hallazgo es crucial. Una aplicación que se fíe de la confianza expresada en lenguaje natural corre el riesgo de actuar con falsa seguridad en situaciones degradadas. Por ejemplo, un sistema de clasificación visual en logística podría aceptar una imagen subexpuesta y cometer un error que la cadena de suministro pague caro. Por eso, en Q2BSTUDIO diseñamos aplicaciones a medida que integran mecanismos de incertidumbre internos, como la entropía de las predicciones o la consistencia entre modelos. Además, desplegamos estas soluciones sobre infraestructuras cloud AWS y Azure que permiten escalar el procesamiento y monitorizar en tiempo real la fiabilidad de los modelos.
La ciberseguridad también juega un papel relevante. Un VLM que verbaliza confianza de forma incorrecta puede ser explotado por ataques adversariales que degraden la entrada para forzar decisiones erróneas. Por eso, en Q2BSTUDIO integramos prácticas de ciberseguridad y pentesting en cada despliegue de IA, garantizando que los sistemas no solo sean precisos, sino también robustos frente a manipulaciones. Asimismo, la analítica de negocio con Power BI permite a las empresas visualizar la evolución de la confianza interna de los modelos y detectar desviaciones antes de que afecten a la operación.
Los agentes de IA que construimos en Q2BSTUDIO incorporan exactamente esta lección. En lugar de preguntar al modelo '¿estás seguro?' y esperar una respuesta textual, extraemos directamente las probabilidades internas y las combinamos con umbrales dinámicos. Si la incertidumbre supera un límite, el agente deriva la decisión a un humano o activa un proceso de verificación adicional. Esto es especialmente relevante en entornos como la atención médica, la conducción autónoma o la inspección industrial, donde un falso positivo o negativo puede tener consecuencias graves.
El estudio también subraya la importancia de validar los modelos en condiciones reales. Muchas empresas prueban sus VLMs con imágenes ideales y luego se sorprenden al ver fallos en producción. La subexposición severa, por ejemplo, es común en entornos con poca luz o en tomas nocturnas. Nuestro equipo de desarrollo recomienda siempre incluir un conjunto de validación con degradaciones realistas y medir no solo la precisión, sino la calidad de las señales de confianza. Solo así se puede diseñar un sistema de delegación fiable.
En resumen, los VLMs pequeños saben que fallan pero no lo dicen. La confianza verbalizada es un espejismo; el verdadero conocimiento está en las probabilidades internas. Para las empresas que quieran desplegar IA de forma responsable, es imprescindible adoptar arquitecturas que capturen esa señal oculta. Q2BSTUDIO está preparado para ayudar: desde la consultoría inicial hasta la implementación de agentes de IA, pasando por la integración en cloud y la ciberseguridad. Si tu organización necesita un sistema que sepa cuándo callar y cuándo actuar, contáctanos. La diferencia entre un modelo que acierta y uno que engaña puede ser tan sutil como una probabilidad interna que nunca se verbaliza.
