Aquest article detalla l'Optimització Directa de Nash (DNO), un mètode dissenyat per optimitzar LLMs utilitzant principis d'equilibri de Nash, abordant els desafiaments enfrontats per la iteració de polítiques suaus tradicionals. DNO substitueix les actualitzacions inestables i complexes en política amb un objectiu contrastiu basat en regressió per a un entrenament estable per lots. L'enfocament gaudeix de millores monòtones i convergeix a l'equilibri de Nash. Un LLM de 7 mil milions de paràmetres entrenat amb DNO supera Mistral Large i versions anteriors de GPT-4 a AlpacaEval 2.0. El document destaca les principals eleccions de disseny per al desenvolupament d'algorismes auto-milloradors iteratius.



