El ajuste fino supervisado (SFT) es una técnica comúnmente utilizada para adaptar modelos de lenguaje grandes (LLMs) a tareas específicas. Sin embargo, realizar SFT en un conjunto de datos completo puede resultar computacionalmente costoso y a veces sufrir de sobreajuste o amplificación de sesgos. Por esta razón, ha surgido la curaduría de datos en SFT, que prioriza los datos más valiosos para optimizar el proceso.
En este contexto, se estudia la familia de selección de lotes en línea, que puntúa y filtra dinámicamente las muestras durante el entrenamiento. Sin embargo, los métodos populares actuales a menudo se centran únicamente en la utilidad de los datos para seleccionar un subconjunto, descuidando factores cruciales como la diversidad, o dependen de recursos externos, lo que puede aumentar el tiempo de entrenamiento.
Para abordar estas limitaciones, se ha desarrollado UDS (Muestreo de Utilidad-Diversidad), un marco para una selección eficiente de lotes en línea en SFT. UDS utiliza la norma nuclear de la matriz de logits para capturar tanto la utilidad de los datos como la diversidad intra-muestra, al tiempo que estima la diversidad entre muestras a través de comparaciones eficientes de incrustaciones de baja dimensión con un búfer de memoria ligero de muestras históricas. Esta metodología elimina la necesidad de recursos externos y retropropagaciones innecesarias, asegurando la eficiencia computacional.
Los experimentos realizados en varios benchmarks han demostrado que UDS supera consistentemente a los métodos de selección de lotes en línea más avanzados, independientemente del presupuesto de datos, y reduce significativamente el tiempo de entrenamiento en comparación con el ajuste fino en todo el conjunto de datos.
Para obtener más información sobre el desarrollo de aplicaciones a medida y servicios de inteligencia artificial, te recomendamos visitar el sitio web de Q2BSTUDIO, una empresa especializada en soluciones tecnológicas personalizadas.
