Cena informácií v umelých inteligenciách
Cena informácií je vysoká! Alexander Mattick kritizuje populárne trendy AI ako „world models“ a zdôrazňuje potrebu testovania teórií hlbokého učenia v praxi, namiesto slepého dôverovania marketingovým termínom.
Video od Machine Learning Street Talk s Alexandrom Mattickom sa ponorilo do fascinujúceho sveta inferencie a teórií hlbokého učenia. Hlavnou myšlienkou je, že spracovanie informácií má svoju cenu a tradičné metódy sú často neefektívne. Alexander kritizuje populárne trendy ako „world models“ a „JEPA architectures“, ktoré považuje skôr za marketingové termíny než za zásadné inovácie. Diskusia sa dotýka rôznych inferenčných metód, od parametrizovaných hustôt po energetické modely (EBMs), difúzne modely a flow matching. Zároveň skúma teoretické základy hlbokého učenia a zdôrazňuje potrebu testovania a falzifikácie týchto teórií v praxi.
Kľúčové poznatky
- Cena informácií: Spracovanie informácií je často nákladné, najmä ak sa ignorujú obmedzenia.
- Skepticizmus k EBMs a „world models“: Alexander Mattick vidí tieto termíny skôr ako marketingové triky než ako zásadné nové prístupy.
- Inferenčné metódy: Video prechádza históriou inferenčných metód, od parametrizovaných hustôt po moderné techniky ako flow matching a difúzne modely.
- Teória vs. prax: Dôležitosť testovania teórií hlbokého učenia v reálnom svete a ich falzifikácie.
- Obmedzenia EBMs: Energetické modely sú síce ľahko trénovateľné, ale ťažko použiteľné na inferenciu.
- Constraints sú kľúčové: V reálnom svete je najefektívnejšie využívať explicitné obmedzenia namiesto len optimalizácie reward funkcií.
Inferencia: od hustôt po flow matching
Alexander Mattick začína diskusiou o tom, ako dôležitá je inferencia v modernom strojovom učení – čo všetko sa deje potom, čo máme model? Prechádza históriou rôznych metód, ktoré sa snažili modelovať distribúcie dát. Prvé pokusy s parametrizovanými hustotami (napríklad normálne rozdelenia) narazili na problém, keďže reálne dáta často neodpovedali týmto jednoduchým tvarom.
