Učenie sa s AI: Supervised, Self-Supervised a Weakly Supervised Metódy

V poslednej prednáške CS230 na Stanforde sa Keon Katon Fuj venoval fascinujúcemu svetu učenia sa v oblasti umelej inteligencie. Prednáška ponúkla praktické príklady, od klasifikácie dňa a noci až po sofistikovanejšie techniky ako self-supervised a weakly supervised learning. Cieľom bolo ukázať, ako AI môže fungovať aj bez rozsiahleho ručného označovania dát – čo je v praxi často obrovská prekážka. Fuj, tiež zdôraznil dôležitosť aplikácií v reálnom svete a rozhodovacích procesov pri vývoji AI projektov, čím sa prednáška stala nielen teoretickou lekciou, ale aj praktickým sprievodcom pre budúcich odborníkov.

Kľúčové poznatky z prednášky

• Supervised Learning: Klasifikácia dňa a noci je jednoduchý, no efektívny príklad, ktorý ilustruje základné princípy supervised learningu – učenia sa na označených dátach.
• Self-Supervised Learning: Táto metóda ponúka elegantné riešenie pre nedostatok označených dát využitím inherentných vlastností dát samotných, napríklad pomocou data augmentation (rotácie, orezávanie obrázkov).

Údaje použité na trénovanie významných systémov umelej inteligencie

• Emergent Behaviors: Samoučené modely môžu vykazovať neočakávané schopnosti, ako je porozumenie jazyku alebo faktické poznatky.
• Multimodal Learning: Spájanie rôznych typov dát (textu, obrazu, zvuku) do spoločného embedding priestoru umožňuje AI lepšie chápať svet okolo nás. ImageBind od Meta je toho výborným príkladom.

Supervised Learning: Klasifikácia dňa a noci – Základy

Prednáška začala praktickým príkladom klasifikácie dňa a noci na základe obrázkov. Fuj zdôraznil, že definícia úlohy (napríklad lokálne vs. globálne rozlíšenie) je kľúčová. Výber dát a ich rozlíšenie by malo byť v súlade s tým, ako vidí svet človek – teda s ohľadom na naše vizuálne vnímanie.

Použitá architektúra modelu bola relatívne jednoduchá: shallow convolutional network s sigmoidovou aktivačnou funkciou pre výstup (pravdepodobnosť 0 alebo 1). Ako stratovú funkciu sa odporúčala binary cross-entropy loss, známa aj ako logistic loss. Tento príklad krásne ilustruje posun od manuálneho feature engineeringu (ručné vytváranie vlastností) k automatickému učeniu vlastností pomocou hlbokého učenia.

Self-Supervised Learning: Učenie sa bez označovania dát

Hlavnou výzvou v oblasti AI je často nedostatok označených dát. Self-supervised learning ponúka elegantné riešenie, ktoré využíva inherentnú štruktúru dát samotných na vytvorenie „označkovania“. Fuj, uviedol príklad face verification (overovanie identity osoby) a triplet loss funkcie, ktorá minimalizuje vzdialenosť medzi obrázkami tej istej osoby (anchor a positive) a maximalizuje vzdialenosť medzi obrázkami rôznych osôb (anchor a negative).

Exponenciálny rast dátových bodov použitých na trénovanie významných systémov umelej inteligencie.

Rozdiel medzi face verification a face identification bol tiež jasne vysvetlený. Pri overovaní identity sa pýtame, či sú dva obrázky tej istej osoby, zatiaľ čo identifikácia sa snaží určiť, o koho ide na základe daného obrázka – porovnaním s databázou známych tvárí. K-nearest neighbors algoritmus bol predstavený ako metóda pre identifikáciu osôb pomocou vektorovej reprezentácie obrázkov.

Emergent Behaviors a Multimodal Learning: Budúcnosť AI

Prednáška sa dotkla fascinujúceho javu „emergent behaviors“ – neočakávaných schopností, ktoré samoučené modely získavajú pri trénovaní na jednoduchých úlohách vo veľkom rozsahu. Fuj, uviedol príklady ako predpovedanie ďalšieho slova vety (GPT) alebo učenie sa faktických poznatkov prostredníctvom predpovedania ďalšieho tokenu.

Umeló inteligencia: Výkon v testoch z vedomostí vs. výpočtová náročnosť trénovania

Záverom bola predstavená myšlienka multimodal learning, kde rôzne typy dát – text, obrázky, zvuk – sú prepojené do spoločného embedding priestoru. Meta's ImageBind bol uvedený ako príklad modelu, ktorý spája tieto modality prostredníctvom textu ako centrálneho „hubu“.

Záverečné úvahy a odporúčania

Prednáška Keona Katona Fuja ponúkla cenný pohľad na súčasný stav a budúcnosť učenia sa v oblasti AI. Zdôraznila dôležitosť praktických aplikácií, flexibility a schopnosti prispôsobiť sa novým výzvam. Pre študentov a odborníkov je kľúčové pochopiť rozdiely medzi supervised, self-supervised a weakly supervised learningom a vedieť, kedy použiť ktorý prístup. Emergent behaviors a multimodal learning predstavujú sľubné oblasti pre ďalší výskum a inovácie v AI.

Zdroje a odkazy

• Stanford Online - CS230 Deep Learning

Približne 236 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.18 l vody za účelom vygenerovania tohoto článku.