Posilňujúce učenie: Monte Carlo vs. TD metódy
Posilňujúce učenie: Monte Carlo a TD metódy umožňujú agentom učiť sa optimálnu stratégiu v prostredí bez programovania. Metódy sa líšia – Monte Carlo vyžaduje dokončenie epizód, zatiaľ čo TD aktualizuje hodnoty priebežne.
Posledná prednáška z kurzu Optimal and Learning-Based Control na Stanforde sa venovala fascinujúcemu svetu posilňujúceho učenia (Reinforcement Learning – RL). Dr. Daniele Gammelli nám predstavil fundamentálne koncepty, ako sú metódy Monte Carlo a Temporal Difference (TD) učenie, a vysvetlil ich silné stránky a slabé miesta. Cieľom bolo ukázať, ako tieto algoritmy umožňujú agentovi učiť sa optimálnu stratégiu v prostredí bez explicitného programovania. V tomto článku si prejdeme kľúčové body prednášky a zjednodušíme ich pre lepšie pochopenie.
Monte Carlo metódy: Učenie sa na skúsenostiach
Monte Carlo metódy sú základným pilierom posilňujúceho učenia. Fungujú tak, že agent opakovane interaguje s prostredím a učí sa z výsledných odmien (rewards). Kľúčové je, že Monte Carlo metódy vyžadujú epizodické Markov Decision Processes (MDPs), čo znamená, že každá interakcia končí v jasne definovanom stave.
