MTDrive: Aprendizaje por Refuerzo Interactivo de Varios Pasos para la Conducción Autónoma

En el mundo de la conducción autónoma, la planificación de trayectorias es fundamental para garantizar la seguridad y comodidad en diversos escenarios. La integración de Modelos de Lenguaje Multimodal (MLLMs) con Aprendizaje por Refuerzo (RL) ha demostrado ser prometedora para abordar situaciones poco comunes. Sin embargo, las limitaciones de los métodos existentes en cuanto al razonamiento de un solo paso han sido un obstáculo para tareas más complejas que requieren una refinación iterativa. Para superar esta barrera, surge MTDrive, un marco de trabajo multidireccional que permite a los MLLMs refinar iterativamente las trayectorias basándose en retroalimentación ambiental. MTDrive introduce la Optimización de Política Relativa en Grupo de Varios Pasos (mtGRPO), que mitiga la escasez de recompensas al calcular ventajas relativas a lo largo de cada paso. Además, se ha construido un conjunto de datos interactivo sobre comprensión de trayectorias a partir de simulaciones en bucle cerrado para respaldar el entrenamiento en varios pasos. Los experimentos realizados en el benchmark NAVSIM han demostrado un rendimiento superior en comparación con los métodos existentes, validando la efectividad de nuestro paradigma de razonamiento en varios pasos. Además, se han implementado optimizaciones a nivel de sistema para reducir la sobrecarga de transferencia de datos causada por imágenes de alta resolución y secuencias de varios pasos, logrando un aumento del 2.5x en el rendimiento del entrenamiento. En Q2BSTUDIO, empresa especializada en el desarrollo de software a medida y soluciones tecnológicas, entendemos la importancia de la inteligencia artificial en sectores como la conducción autónoma. Nuestros servicios abarcan desde aplicaciones a medida hasta servicios en la nube de AWS y Azure, ciberseguridad, inteligencia de negocio y mucho más. Descubre cómo podemos ayudarte a implementar soluciones con IA para empresas, agentes de IA, Power BI y más en Q2BSTUDIO. Descubre más sobre nuestras soluciones y servicios en el desarrollo de aplicaciones a medida visitando nuestro sitio web. ¡Estamos aquí para brindarte la mejor tecnología y apoyo en tus proyectos de software!