Posúvanie jazykových modelov: RLHF, DPO a nové stratégie

Prednáška z Stanfordu CS336 sa ponorila do fascinujúceho sveta Reinforcement Learning from Human Feedback (RLHF) a jeho evolúcie. Od osvojeného DPO (Direct Preference Optimization) až po inovatívne prístupy ako GRPO (Generalized Reinforcement Learning from Online feedback), R1 a Kimmy 1.5, prednášajúci odhalil výzvy a príležitosti spojené s optimalizáciou jazykových modelov pomocou učenia posilnenia. Článok sumarizuje kľúčové poznatky z tejto prednášky a ponúka prehľad o najnovších trendoch v oblasti trénovania AI.

Kľúčové poznatky

• RLHF a jeho výzvy: RLHF, hoci efektívny, čelí problémom overoptimalizácie a kalibrácie. Modely sa môžu "naučiť" triky na zlepšenie skóre odmeny, čo vedie k divergencii od skutočných preferencií používateľov.
• DPO a jeho varianty: DPO zjednodušuje proces RLHF, ale viedol k množstvu variantov (SPIO), ktoré sa snažia o optimalizáciu efektivity a stability.
• GRPO: Zjednodušený prístup s matematickými nástrahami: GRPO predstavuje alternatívu k PO, ktorá zjednodušuje výpočet, no analýzy odhalili potenciálne matematické problémy vedúce k nežiaducemu správaniu modelov.
• R1 a Kimmy 1.5: Efektívne riešenia s outcome-based odmenami: R1 demonštruje silu jednoduchých RL recipe založených na outcome-based odmenách, zatiaľ čo Kimmy 1.5 ukazuje, ako efektívne trénovať modely s obmedzeným množstvom dát a inteligentným výberom príkladov.
• Thinking Mode Fusion (Quen 3): Nové stratégie ako "thinking mode fusion" v modeli Quen 3 umožňujú riadené prepínanie medzi rôznymi režimami uvažovania, čo otvára nové možnosti pre kontrolu a optimalizáciu výkonu jazykových modelov.

DPO: Priamy prístup k preferenciám ľudí

DPO (Direct Preference Optimization) predstavuje významný krok v RLHF. Na rozdiel od predchádzajúcich metód, ktoré sa snažili modelovať skryté funkcie odmeny, DPO priamo optimalizuje jazykový model na základe porovnávacích dát preferencií ľudí. Používa pomer politík a Bradley Terry objektívnu funkciu, čím efektívne maximalizuje očakávané odmeny založené na ľudských preferenciách. Regularizácia (beta) je kľúčová pre prioritizáciu správnych odhadov odmien.

GRPO: Zjednodušenie s rizikami

GRPO (Generalized Reinforcement Learning from Online feedback) sa snaží zjednodušiť proces učenia posilnenia tým, že eliminuje výpočet generalized advantage estimation a nahrádza ho z-skóre založeným na skupinových odmenách. Hoci je teoreticky atraktívny, nedávne analýzy upozorňujú na potenciálne matematické problémy spojené s jeho implementáciou, konkrétne s delením štandardnou devíáciou a normalizáciou dĺžky, ktoré môžu viesť k agresívnemu generovaniu nadmerne dlhých odpovedí ("aggressive BS"). Odstránenie týchto korekcií sa ukázalo ako spôsob na zlepšenie výkonu GRPO.

R1: Výnimočný výsledok s jednoduchou metódou

R1 predstavuje pozoruhodný príklad toho, ako relatívne jednoduchý prístup môže dosiahnuť vynikajúce výsledky. Tento model, postavený na základe DeepSeek Math a využívajúci accuracy a format odmeny pre reinforcement learning v matematických úlohách, replikoval výkon OpenAI's 01 s minimálnym množstvom tréningových dát. R1 demonštruje, že outcome-based odmeny sú efektívnejšie ako process reward models (PRM) alebo search-based metódy pri modelovaní komplexného uvažovania.

Kimmy 1.5: Efektívne učenie s inteligentným výberom dát

Kimmy 1.5 ďalej posúva hranice efektivity trénovania jazykových modelov. Tento model využíva starostlivo vybraný dataset, ktorý je vyvážený z hľadiska domén, vylučuje jednoduché multiple-choice otázky a selektuje príklady na základe pass rate generovaných odpovedí základného modelu. Použitie squared loss regularizácie namiesto pair-wise preferencií a baseline odmeny vypočítanej ako priemer cez batch, spolu s dĺžkovou odmenou (ktorá bola pôvodne vypnutá a neskôr znovu zapojená), prispieva k jeho vynikajúcemu výkonu.

Quen 3: Riadené uvažovanie pomocou Thinking Mode Fusion

Quen 3 predstavuje inovatívny prístup s "thinking mode fusion", ktorý umožňuje modelu prepínať medzi režimom uvažovania ("think") a priamym odpovedaním ("no think"). Táto funkcia poskytuje jemnejšiu kontrolu nad procesom generovania textu a otvára nové možnosti pre optimalizáciu výkonu v rôznych úlohách. Výsledky ukazujú, že hoci všeobecné RL môže poškodiť matematický/STEM výkon, pomáha pri inštrukčnom sledovaní.

Záver: Budúcnosť trénovania jazykových modelov

Prednáška z Stanfordu CS336 jasne ukazuje, že optimalizácia jazykových modelov pomocou učenia posilnenia je dynamická a rýchlo sa meniaca oblasť. Od DPO cez GRPO až po inovatívne prístupy ako R1, Kimmy 1.5 a Quen 3, výskumníci neustále hľadajú nové spôsoby, ako zlepšiť výkonnosť, efektivitu a kontrolu nad týmito modelmi. Budúcnosť trénovania jazykových modelov pravdepodobne bude spočívať v kombinácii rôznych techník a prístupov, pričom sa bude kladať dôraz na efektívne využívanie dát, inteligentné návrhy odmien a riadené uvažovanie.

Referencie a odkazy:

• Stanford Online - CS336 Language Modeling from Scratch
• CS336 Spring 2025 GitHub Repository

Približne 299 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.50 l vody za účelom vygenerovania tohoto článku.