Bayesovské siete a zdieľanie parametrov

Nedávno som si pozrela fascinujúcu prednášku z kurzu umelej inteligencie na Stanforde, ktorá sa venovala Bayesiánskym sieťam a zdieľaniu parametrov. Táto prednáška predstavila komplexné koncepty v zrozumiteľnej forme a ponúkla pohľad do sveta pravdepodobnostného modelovania a strojového učenia. V tomto článku si zhrnieme kľúčové myšlienky a vysvetlíme, ako tieto techniky fungujú.

Čo sú Bayesiánske siete?

Bayesiánska sieť je grafický model, ktorý reprezentuje závislosti medzi premennými pomocou smerovaných acyklických grafov (DAG). Každý uzol v grafe predstavuje premennú a ku každému uzlu prislúcha lokálna podmienená tabuľka pravdepodobnosti. Táto tabuľka udáva pravdepodobnosť hodnoty premennej vzhľadom na hodnoty jej rodičovských premenných.

Výpočtom spoločnej distribúcie sa začína jednoducho: vynásobíme všetky lokálne podmienené pravdepodobnostné tabuľky. Následne môžeme využiť túto spoločnú distribúciu na vykonávanie pravdepodobnostných inferencií – teda na výpočet pravdepodobnosti určitej udalosti vzhľadom na pozorované dáta. Existujú rôzne algoritmy pre inferenciu, vrátane presnej inferencie (priamy výpočet), odmietnutého vzorkovania a Gibbs samplingu.

Dôležitým konceptom je podmienená nezávislosť. Dve premenné sú podmienečne nezávislé vzhľadom na inú premennú, ak každá cesta medzi nimi je zablokovaná uzlami v podmieňujúcej premennej.

Učenie sa parametrov z dát

Zatiaľ čo v predchádzajúcich modeloch boli pravdepodobnosti definované manuálne, v skutočných aplikáciách ich často potrebujeme odhadnúť z pozorovaných dát. To znamená, že sa musíme naučiť lokálne podmienené distribúcie. Pre jednoduchý príklad, ak chceme odhadnúť pravdepodobnosť hodnotenia filmu, môžeme len spočítať výskyt každého hodnotenia a normalizovať výsledky. Pri dvoch premenných (napríklad žáner a hodnotenie) musíme sledovať počty pre každý žáner a následne normalizovať samostatne pre každý žáner, aby sme odhadli podmienené pravdepodobnosti. Pre tri premenné (odmena, žáner, hodnotenie) je potrebné viac evidencie – spočítať kombinácie hodnôt rodičovských premenných a samotného hodnotenia, a následne normalizovať.

Zdieľanie parametrov: Riešenie problému s nedostatkom dát

Keď pracujeme s veľkým počtom používateľov (napríklad tisíc), priradenie jedinečných parametrov každému používateľovi môže viesť k slabým odhadom, ak je množstvo dát na používateľa obmedzené. Zdieľanie parametrov rieši tento problém tým, že odhaduje distribúcie hodnotení vzhľadom na žáner cez všetkých používateľov namiesto individuálnych užívateľských distribúcií.

Zdieľanie parametrov sa implementuje použitím rovnakých lokálnych podmienených distribúcií (napríklad P(R|G)) pre viac uzlov v Bayesiánskej sieti, čím sa efektívne kombinujú ich parametre a znižuje počet parametrov, ktoré je potrebné naučiť. Skvelým príkladom je Hidden Markov Model (HMM), kde sekvencia skrytých stavov ovplyvňuje pozorovanie v priebehu času s použitím zdieľaných prechodových a emisných pravdepodobností.

Odhad Bayesiánskych sietí: „Počítaj a normalizuj“

Všeobecný postup odhadu Bayesiánskych sietí zahŕňa definovanie množiny „D“ lokálnych podmienených distribúcií a spočítanie výskytov každej distribúcie vzhľadom na hodnoty rodičovských premenných v tréningových dátach, a následnú normalizáciu na získanie odhadov pravdepodobnosti. Táto metóda „počítaj a normalizuj“ je matematicky ekvivalentná maximálnej pravdepodobnosti (maximum likelihood estimation), čo poskytuje uzavreté riešenie bez potreby iteratívnych optimalizačných algoritmov.

Lass Smoothing a EM: Riešenie problémov s pretrénovaním a neúplnými dátami

Lass smoothing rieši overfitting v maximálnej pravdepodobnosti pridaním pseudo-počtov ku všetkým možným hodnotám pre každú premennú, čím sa zabraňuje tomu, aby pravdepodobnosti boli nulové, a poskytuje hladšie odhady pravdepodobnosti.

Ak niektoré premenné v Bayesiánskej sieti nie sú priamo pozorované počas trénovania (čiže máme čiastočne pozorované dáta), môžeme použiť algoritmus Expectation Maximization (EM). EM iteratívne strieda E-krok (odhad distribúcie skrytých premenných) a M-krok (aktualizáciu parametrov na základe vážených pozorovaných dát), čím maximalizuje pravdepodobnosť pozorovaných dát. E-krok vypočíta pravdepodobnosti hodnôt skrytých premenných vzhľadom na pozorované dáta a súčasné parametre, zatiaľ čo M-krok použije tieto vážené pozorovania na aktualizáciu parametrov prostredníctvom počítania a normalizácie.

EM garantuje nárast pravdepodobnosti v každej iterácii, konverguje k lokálnemu maximu, vyžaduje nerovnaké inicializácie pre rozbitie symetrií a dokáže obnoviť skryté premenné len po permutáciách štítkov.

Kľúčové poznatky

• Bayesiánske siete poskytujú silný rámec na modelovanie závislostí medzi premennými pomocou grafického modelu.
• Zdieľanie parametrov je účinná technika na riešenie problémov s nedostatkom dát pri odhadovaní Bayesiánskych sietí.
• Algoritmus EM umožňuje odhadovať parametre aj v prípade čiastočne pozorovaných dát.

Odporúčania a úvahy

Prednáška zo Stanfordu ponúka cenný pohľad do sveta Bayesiánskych sietí a zdieľania parametrov. Tieto techniky majú široké uplatnenie v rôznych oblastiach, vrátane personalizovaných systémov odporúčaní, spracovania prirodzeného jazyka a medicínskej diagnostiky. Preto je dôležité pokračovať v skúmaní týchto konceptov a ich aplikácií. Je tiež potrebné si uvedomiť, že odhad Bayesiánskych sietí môže byť výpočtovo náročný, najmä pri veľkých sieťach a rozsiahlych dátových súboroch. Preto je dôležité zvážiť kompromisy medzi presnosťou modelu a výpočtovou náročnosťou.

Zdroje

• Originálne video
• Kurzy a programy umelej inteligencie | Stanford Online
• online.stanford.edu
• AI 221: Umelecká inteligencia: Princípy a techniky
• Stanford CS221: Artificial Intelligence: Principles and Techniques | Autumn 2025

Približne 217 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.09 l vody za účelom vygenerovania tohoto článku.