Čo sa deje vo vnútri AI: Pohľad do čiernej skrinky

Prednáška zo Stanfordu nám prináša fascinujúci pohľad do fungovania moderných modelov umelej inteligencie. Od vizualizácie aktivácií konvolučných sietí (CNN) až po pochopenie mechanizmov pozornosti v transformátoroch, táto prednáška odhaľuje, ako tieto komplexné systémy prijímajú rozhodnutia a učia sa z dát. A čo je ešte dôležitejšie, upozorňuje na blížiacu sa krízu kvality tréningových dát, ktorá by mohla brzdiť ďalší pokrok v oblasti AI.

Kľúčové poznatky

• Vizualizácia aktivácií: Techniky ako mapy aktivácie tried (CAM) a gradientný vzostup nám umožňujú pochopiť, na ktoré časti obrazu sa model zameriava pri klasifikácii.
• Transformátory vs. CNN: Zatiaľ čo konvolučné siete sú skvelé v rozpoznávaní lokálnych vzorov (hrany, textúry), transformátory využívajú mechanizmy pozornosti na pochopenie vzťahov medzi rôznymi časťami dát.
• Embeddings a t-SNE: Embeddings reprezentujú spôsob, akým modely chápu slová, a technika t-SNE nám umožňuje ich vizualizovať a zistiť, či sú podobné slová usporiadané blízko seba.
• Kríza dát: Výskum Epoch AI naznačuje, že kvalitné tréningové dáta budú vyčerpané už v priebehu nasledujúcich rokov, čo môže viesť k stagnácii pokroku v oblasti AI.
• Feedback loop: Trénovanie modelov na dátach generovaných samotnou AI vytvára nebezpečný kruh, ktorý obmedzuje učenie a potenciálne vedie k zhoršeniu výkonu.

Pozrieme sa dovnútra: Vizualizácia konvolučných sietí (CNN)

Konvolučné siete sú základom mnohých moderných systémov umelej inteligencie, najmä v oblasti počítačového videnia. Ale ako vlastne fungujú? Prednáška nám ukazuje, že pomocou techník ako mapy aktivácie tried (CAM) môžeme vizualizovať, na ktoré časti obrazu sa sieť zameriava pri klasifikácii. Napríklad, ak model identifikuje obrázok psa, CAM nám ukáže oblasti obrazu, kde je sieť najviac „zainteresovaná“ – pravdepodobne na hlavu a telo psa.

Ďalšou zaujímavou technikou je gradientný vzostup. Táto metóda umožňuje generovať vstupné obrázky, ktoré maximalizujú aktiváciu konkrétneho neurónu alebo filtra v sieti. To nám pomáha pochopiť, aké typy vzorov spúšťajú danú aktiváciu. Predstavte si to ako hľadanie obrázka, ktorý „rozveselí“ konkrétny neurón v sieti!

Transformátory a mechanizmy pozornosti: Pochopenie vzťahov medzi slovami

Transformátory predstavujú novú éru v oblasti spracovania prirodzeného jazyka. Na rozdiel od konvolučných sietí, ktoré sa zameriavajú na lokálne vzory, transformátory využívajú mechanizmy pozornosti na pochopenie vzťahov medzi rôznymi slovami alebo tokenmi v sekvencii.

Vizualizácia týchto vzťahov je kľúčová pre pochopenie fungovania transformátorov. Jesse Vig vytvoril prístupné vizualizácie, ktoré nám ukazujú, ako model „prepojuje“ rôzne slová a sub-slová v texte. To nám umožňuje sledovať, ako model chápe význam celého textu a ako sa rozhoduje na základe týchto vzťahov.

Embeddings: Reprezentácia jazyka v číslach

Jazykové modely reprezentujú slová pomocou vektorov, ktoré nazývame embeddings. Tieto vektory zachytávajú sémantický význam slov – podobné slová majú blízke vektory. Technika t-SNE nám umožňuje vizualizovať tieto embeddings a zistiť, či sú slová s podobným významom usporiadané blízko seba v priestore. Ak vidíme, že „pes“ a „šteňa“ sú blízko seba, znamená to, že model chápe ich vzájomnú súvislosť.

Kríza kvality dát: Budúcnosť AI ohrozená nedostatkom kvalitných informácií?

Výskum Epoch AI priniesol znepokojujúcu správu – kvalitné tréningové dáta budú čoskoro vyčerpané. Predpokladajú, že textové dáta budú vyčerpané už v roku 2025, audio a video v roku 2027 a naozaj unikátne a kvalitné dáta až v roku 2030.

To znamená, že modely AI sa čoskoro začnú trénovať na stále homogénnejších a menej kvalitných dátach. To môže viesť k stagnácii pokroku a dokonca aj k zhoršeniu výkonu modelov. Navyše, rastúci podiel tréningových dát generovaných samotnou AI vytvára nebezpečný feedback loop, ktorý obmedzuje učenie a potenciálne vedie k degradácii modelu.

Záver: Budovanie odolnejších a transparentnejších systémov AI

Prednáška nám ukázala, že pochopenie fungovania modelov umelej inteligencie je kľúčové pre ich ďalší rozvoj. Vizualizácia aktivácií, mechanizmov pozornosti a embeddings nám umožňuje nahliadnuť do čiernej skrinky AI a zistiť, ako tieto systémy prijímajú rozhodnutia. Zároveň nás však varuje pred blížiacou sa krízou kvality dát, ktorá by mohla brzdiť ďalší pokrok.

Je preto dôležité venovať pozornosť budovaniu odolnejších a transparentnejších systémov AI, ktoré sú schopné učiť sa z rôznorodých a kvalitných dát. A čo je ešte dôležitejšie, musíme si uvedomiť, že AI nie je všemocná a jej pokrok závisí od dostupnosti kvalitných informácií.

Zdroje

• Originálne video
• Kurzy a programy umelej inteligencie | Stanford Online
• online.stanford.edu
• Plán kurzu
• Stanford CS230: Deep Learning I Autumn 2025

Približne 223 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.12 l vody za účelom vygenerovania tohoto článku.