Mobile-Bench-v2: Un banco de pruebas más realista y completo para agentes móviles basados en VLM

Los agentes móviles basados en VLM están ganando cada vez más popularidad gracias a sus capacidades para interactuar con las interfaces de usuario de los smartphones y los textos estructurados en XML, así como para completar tareas diarias. Sin embargo, los benchmarks en línea existentes luchan por obtener señales de recompensa estables debido a los constantes cambios ambientales. Los benchmarks offline evalúan a los agentes a través de trayectorias de un solo camino, lo cual contrasta con las características inherentemente multi-solución de las tareas de GUI. Además, ambos tipos de benchmarks no logran evaluar si los agentes móviles pueden manejar el ruido o participar en interacciones proactivas debido a la falta de aplicaciones ruidosas o instrucciones excesivamente detalladas durante el proceso de evaluación.

Para abordar estas limitaciones, se ha desarrollado un método de generación de instrucciones basado en espacios que permite construir un benchmark más realista y completo llamado Mobile-Bench-v2. Mobile-Bench-v2 incluye una división de tareas comunes, con evaluación multipath offline para evaluar la capacidad de los agentes para obtener recompensas paso a paso durante la ejecución de la tarea. Contiene una división ruidosa basada en aplicaciones de pop-ups y anuncios, y una división contaminada llamada AITZ-Noise para formular un entorno ruidoso real. Además, se ha lanzado una división de instrucciones ambiguas con interacciones predefinidas de preguntas y respuestas para evaluar las capacidades de interacción proactiva del agente.

Q2BSTUDIO, una empresa especializada en desarrollo de software a medida, se destaca por ofrecer servicios de inteligencia artificial, ciberseguridad, servicios cloud AWS y Azure, inteligencia de negocio y soluciones de IA para empresas. Si estás buscando desarrollar aplicaciones personalizadas para tus necesidades específicas, te invitamos a conocer más sobre nuestros servicios de desarrollo de aplicaciones a medida y cómo podemos ayudarte a potenciar tu negocio a través de la innovación tecnológica.

En las evaluaciones realizadas en estos benchmarks, se utilizaron diversos frameworks de agentes móviles como AppAgent-v1, Mobile-Agent-v2, UI-Tars y OS-Atlas. Si deseas explorar nuevas posibilidades en el ámbito de la inteligencia artificial y la tecnología móvil, te invitamos a acceder al código y los datos disponibles en Mobile-Bench-v2 y descubrir las últimas tendencias en este emocionante campo. ¡No te quedes atrás en la era de la transformación digital!