Samoučiaci sa AI agenti: Prehľad Stanfordu
AI agenti: Stanford kurz odhaľuje nové trendy vo využití rozsiahlych jazykových modelov. Učíme AI z mála príkladov, reťazenie myšlienok a test-time scaling pre lepšie výsledky.
V tomto článku si prejdeme prvú prednášku z kurzu CS329A na Stanforde, ktorý sa zaoberá samoučiacimi sa AI agentmi. Prednáška, ktorú viedli Aakanksha Chowdhery a Azalia Mirhoseini, predstavuje fascinujúci pohľad do sveta rozsiahlych jazykových modelov (LLM), ich škálovania a prechodu od jednoduchých chatbotov k sofistikovaným agentom schopným komplexných úloh. Zistíme, ako sa AI učí z mála príkladov, ako funguje reťazenie myšlienok a aké sú najnovšie trendy v oblasti testovania a zdokonaľovania modelov.
Škálovanie LLM: Väčší Model = Lepšia Výkonnosť?
Prednáška začína pohľadom na škálovanie rozsiahlych jazykových modelov. Ukazuje sa, že čím viac parametrov má model, čím väčšia je trénovacia množina dát a čím viac výpočtového výkonu je k dispozícii, tým lepšie sú výsledky – teda nižšia „scaling loss“. Tento trend poháňal vývoj modelov ako GPT-3, ChatGPT, PaLM a Gemini, ktoré sa pýšia obrovským počtom parametrov.
