El Futur de l'Entrenament de Models d'IA

Optimització Directa de Nash (DNO): Mètode per optimitzar LLMs utilitzant principis d'equilibri de Nash, substituint les actualitzacions inestables amb un enfocament basat en regressió per a un entrenament estable. Convergeix a l'equilibri de Nash i supera models anteriors a AlpacaEval 2.0.

jueves, 17 de abril de 2025 • 1 min de lectura • Equip Q2BSTUDIO

Intel·ligència-Artificial-

Aquest article detalla l'Optimització Directa de Nash (DNO), un mètode dissenyat per optimitzar LLMs utilitzant principis d'equilibri de Nash, abordant els desafiaments enfrontats per la iteració de polítiques suaus tradicionals. DNO substitueix les actualitzacions inestables i complexes en política amb un objectiu contrastiu basat en regressió per a un entrenament estable per lots. L'enfocament gaudeix de millores monòtones i convergeix a l'equilibri de Nash. Un LLM de 7 mil milions de paràmetres entrenat amb DNO supera Mistral Large i versions anteriors de GPT-4 a AlpacaEval 2.0. El document destaca les principals eleccions de disseny per al desenvolupament d'algorismes auto-milloradors iteratius.

ELS NOSTRES SERVEIS

Com et podem ajudar

Tens un projecte en ment?

Explica'ns la teva visió i la convertim en una solució de programari. Sigui quin sigui l'abast, fem realitat la teva idea.