Has pasado semanas optimizando tu modelo de lenguaje. Aplicaste técnicas de preferencia como DPO y seguiste un pipeline de alineamiento esperando mejoras claras, pero en su lugar la confianza del modelo cae en todo el espectro incluso en las salidas que querías mejorar. Esto no es un error aislado. Es el efecto de compresión y entenderlo cambia cómo abordar la implementación de IA.
Qué ocurre realmente Cuando haces finetuning con optimización por preferencia off-policy, el algoritmo impone dos gradientes enfrentados: una presión positiva sobre las respuestas preferidas para que mejoren y una presión negativa sobre las respuestas rechazadas para que empeoren. En teoría esto debería aumentar el margen entre salidas buenas y malas. En la práctica aparece algo contraintuitivo. El gradiente negativo no redistribuye la probabilidad perdida de forma homogénea entre todos los tokens restantes. En lugar de eso concentra casi toda esa masa de probabilidad en el token que ya tenía mayor confianza. Eso es el efecto de compresión.
Imagina un globo lleno de aire. Presionas un lado que representa la respuesta rechazada. El aire no se va uniformemente por la habitación, se comprime hacia el punto de menor resistencia, el pico del globo. En modelos LLM preentrenados la distribución ya es muy picoada: el modelo tiene confianza elevada en ciertos tokens que representan conocimiento central. Las respuestas rechazadas suelen estar en regiones de baja probabilidad. Aplicar una gran presión negativa sobre algo que ya era improbable no fomenta explorar alternativas mejores, sino que empuja toda la masa hacia el pico.
Consecuencias prácticas El efecto se traduce en salidas cada vez más repetitivas, estereotipadas y con mayor propensión a alucinaciones. No es que el modelo aprenda a preferir mejores respuestas, simplemente se vuelve más extremo, más concentrado y menos diverso. Estudios recientes presentados en ICLR 2025 muestran este comportamiento en múltiples tamaños de modelo y conjuntos de datos. Cuanto más tiempo se entrena con este enfoque off-policy, peor es el deterioro. Los modelos finetuneados durante más tiempo antes de aplicar DPO presentan peores degradaciones porque la distribución inicial ya era más picoada.
La solución: elevar el valle La solución es simple y práctica: durante la fase de supervised finetuning incluir tanto respuestas preferidas como rechazadas antes de ejecutar DPO. De este modo las respuestas rechazadas se desplazan fuera del valle de probabilidad hacia una región de confianza moderada. Cuando DPO aplica su gradiente negativo trabaja sobre una pendiente más suave. El efecto de compresión sigue presente por la naturaleza del softmax, pero el daño es mínimo porque no se parte de un extremo tan bajo.
Resultados y beneficios Los modelos entrenados con este ajuste previo muestran mejoras claras en evaluaciones de win-rate, reducción de respuestas degenerativas como repeticiones y alucinaciones, mejor rendimiento en varios tamaños de modelo y ganancias consistentes sin coste computacional adicional. En algunos experimentos se observó una mejora de entre 8 y 15% en comparaciones pareadas frente a modelos de referencia.
Qué significa esto para tu despliegue de IA Si despliegas LLMs en producción para atención al cliente, generación de contenido, análisis documental o automatización del retail, entender estas dinámicas es crítico. Muchas implementaciones off-the-shelf aplican DPO esperando el comportamiento teórico, pero la geometría real del paisaje de confianza del modelo complica los resultados. No se trata solo de elegir el algoritmo correcto, sino de reconocer cómo la representación aprendida y la distribución en softmax influyen en la efectividad de la alineación. Un pequeño paso de preprocesado incluyendo respuestas rechazadas en SFT cuesta casi nada y puede dar grandes beneficios.
Cómo te ayuda Q2BSTUDIO En Q2BSTUDIO somos especialistas en desarrollo de software y aplicaciones a medida y aplicamos estas lecciones cuando diseñamos soluciones de inteligencia artificial para empresas. Ofrecemos servicios de software a medida, desarrollo de aplicaciones a medida y proyectos de ia para empresas que integran buenas prácticas de finetuning y alineamiento para evitar problemas como el efecto de compresión. Nuestro equipo también cubre ciberseguridad y pentesting para proteger tus modelos y datos, además de servicios cloud aws y azure para desplegar con escalabilidad y seguridad.
Si necesitas un socio experto para llevar modelos a producción, combinar agentes IA con pipelines robustos, o integrar análisis con power bi y servicios inteligencia de negocio, en Q2BSTUDIO diseñamos la solución personalizada que tu compañía necesita. Conoce nuestros servicios de inteligencia artificial en Inteligencia artificial para empresas y descubre cómo podemos desarrollar tus aplicaciones a medida en aplicaciones y software a medida.
Conclusión Alinear no es solo matemáticas en papel, es geografía del modelo. Dónde aplicas presión y contra qué geometría empujas determina el éxito del alineamiento. Pequeños ajustes como incluir respuestas rechazadas en SFT convierten una técnica teóricamente efectiva en una práctica robusta y fiable para producción. En Q2BSTUDIO transformamos estos detalles en ventajas competitivas para tu negocio, desde agentes IA hasta soluciones de business intelligence con power bi y arquitecturas seguras en la nube.
