Od GPT-3 po ChatGPT: Evolúcia jazykových modelov
Od GPT-3 po ChatGPT: Evolúcia jazykových modelov vyžaduje rozsiahly post-tréning a zameranie sa na kvalitu dát, nie len ich objem. Post-tréning je kľúčový pre inteligentných agentov s integráciou nástrojov a alternatívami RLHF (DPO).
Prednáška zo Stanfordu CS336 sa ponorila do fascinujúceho sveta post-tréningu jazykových modelov, od prekonania obmedzení GPT-3 až po vytváranie sofistikovanejších systémov ako ChatGPT. Hlavným posolstvom je, že evolúcia od jednoduchých generátorov textu k inteligentným agentom vyžaduje rozsiahly post-tréning a zameranie sa na kvalitu dát, nielen ich objem. Prednášajúci zdôraznil prekážky pri vytváraní kvalitných trénovacích dát, vývoj rôznych prístupov (od Fawn po Open Assistant) a súčasné trendy smerujúce k agentickým schopnostiam a integrácii nástrojov. Zároveň sa venoval rizikám spojeným s RLHF (Reinforcement Learning from Human Feedback), ako je model collapse a overoptimalizácia, a predstavil alternatívy ako DPO (Direct Preference Optimization).
