Resumen rápido TLDR: Intenté construir un agente web visual usando Playwright y Qwen2VL2B para detectar y hacer clic en elementos de la interfaz prediciendo coordenadas en píxeles y el resultado fue un fracaso. En imágenes de prueba cuadradas funcionaba, pero en sitios reales con monitores panorámicos 1920x1080 apareció una deriva de coordenadas de hasta 500px causada por el aplastamiento interno de la relación de aspecto del modelo. Conclusión principal: pedir píxeles crudos es matemáticamente inestable para la automatización del navegador.
El sueño: imaginar decirle al ordenador ve a Amazon, busca un altavoz bluetooth impermeable por menos de 50 euros y ponlo en mi carrito mientras el cursor se mueve y hace clic tal como lo haría un humano. Esto es la promesa de los agentes multimodales, pero no es tan simple como tomar una captura de pantalla y pedirle a la IA que haga clic en un botón. Lo comprobé y falló de forma épica.
Breve explicación de cómo ve la IA: los modelos multimodales convierten la imagen en parches pequeños que se flattenan en vectores y luego razonan sobre esos vectores como si fueran palabras. Este proceso de grounding visual mapea conceptos de texto a coordenadas espaciales en pantalla, pero no otorga la precisión de una regla: la IA detecta patrones, no mide píxeles exactos.
El experimento naive: usamos Qwen2VL2B porque soporta boxes y puede generar coordenadas. Capturamos una pantalla con Playwright, redimensionamos la imagen a un formato preferido por el modelo y pedimos el bounding box del icono de búsqueda por voz. En páginas de prueba cuadradas funcionó y el modelo devolvió coordenadas razonables, pero al ejecutar sobre una pantalla 1920x1080 el modelo vio la imagen como 1 por 1 y la aplastó horizontalmente. El icono que en la realidad estaba en la parte derecha fue devuelto por la IA como si estuviera a la izquierda, con un error de cientos de píxeles.
Anatomía del fallo: 1 La trampa de la relación de aspecto aplastada convirtió una ubicación real en una fracción de ancho que, al reescalarla al espacio real, produjo deriva masiva. 2 La ambigüedad contextual hizo que la IA marcara la zona más grande y destacada, por ejemplo la barra de búsqueda entera en lugar del micrófono pequeño, porque a baja resolución ambos son patrones similares. El resultado es una falla silenciosa en automatización donde el script cree haber realizado la acción y en la práctica no suceda nada.
Lecciones aprendidas: pedir coordenadas de píxeles a un MLLM es poco fiable. La visión de estos modelos es probabilística, no métrica. El escalado y la distorsión entre la pantalla real y el input del modelo causan drift. La semántica puede ser ambigua y la IA suele elegir la región más grande que coincide con la descripción.
Qué hacer a continuación: abandonar la predicción de píxeles brutos y forzar precisión mediante estrategias híbridas. En mi siguiente entrega presentaré el enfoque Set of Mark SoM que inyecta etiquetas numeradas directamente en el DOM mediante JavaScript para que el agente vea marcas explícitas con alta precisión. Alternativas prácticas son usar selectores DOM y APIs del navegador para obtener bounding boxes reales, emplear técnicas de coincidencia visual con plantillas a resolución nativa, y combinar inferencia multimodal con datos estructurados del navegador para evitar el drift.
En Q2BSTUDIO aplicamos estas lecciones en proyectos reales de aplicaciones a medida y software a medida, creando agentes IA robustos para procesos críticos y evitando las trampas de la visión por píxel. Si necesitas integrar ia para empresas, agentes IA o automatizaciones confiables, podemos ayudarte con soluciones prácticas que combinan modelos multimodales y automatización basada en DOM y en herramientas de navegador. Más información sobre nuestras soluciones de inteligencia artificial para empresas y sobre cómo desarrollamos productos a medida en desarrollo de aplicaciones a medida.
Servicios complementarios: en Q2BSTUDIO somos especialistas en ciberseguridad y pentesting para proteger agentes automatizados, ofrecemos servicios cloud aws y azure para desplegar modelos y pipelines de inferencia, y servicios inteligencia de negocio y power bi para explotar datos de interacción. Nuestro enfoque integra ia para empresas, automatización de procesos y buenas prácticas de seguridad para que la solución funcione en producción sin fallos silenciosos.
Si te interesa que transformemos un prototipo frágil en un agente web fiable, escalable y seguro, contacta con Q2BSTUDIO y te mostraremos cómo evitar la trampa de los píxeles y llevar tu proyecto de la idea a producción con garantías de precisión, seguridad y rendimiento.
.jpg)