El Futuro del Entrenamiento de Modelos de IA

Este artículo detalla la Optimización Directa de Nash (DNO), un método diseñado para optimizar LLMs utilizando principios de equilibrio de Nash, abordando los desafíos enfrentados por la iteración de políticas suaves tradicionales. DNO reemplaza las actualizaciones inestables y complejas en política con un objetivo contrastivo basado en regresión para un entrenamiento estable por lotes. El enfoque disfruta de mejoras monótonas y converge al equilibrio de Nash. Un LLM de 7 mil millones de parámetros entrenado con DNO supera a Mistral Large y versiones anteriores de GPT-4 en AlpacaEval 2.0. El documento destaca las principales elecciones de diseño para el desarrollo de algoritmos auto-mejoradores iterativos.