Hlboké siete: Prečo nemusia pamätať všetko?
Hlboké siete nemusia pamätať všetko! Profesor Matthieu Wyart odhaľuje, ako AI vďaka skrytým hierarchiám v dátach efektívne učí a potenciálne aj tvorí. Nový pohľad z fyziky prináša inšpiráciu pre budúcnosť AI.
V posledných rokoch sa umelá inteligencia, a najmä rozsiahle jazykové modely (LLM), stala neoddeliteľnou súčasťou nášho života. Ale ako tieto systémy skutočne fungujú? A prečo potrebujú toľko dát na trénovanie? V tomto rozhovore s profesorom Matthieu Wyartom z Johns Hopkins a EPFL sa dozvieme, že hlboké siete nemusia pamätať všetko – vďaka ich schopnosti objavovať skryté hierarchie v dátach. Tento pohľad nám otvára nové možnosti pre efektívnejšie učenie a potenciálne aj pre tvorivosť AI.
Pochopenie Skrytých Hierarchií: Od Fyziky k Strojovému Učeniu
Matthieu Wyart, s pozadím v štatistickej fyzike a štúdiom komplexných systémov, prináša do sveta strojového učenia nový pohľad. Podobne ako u fyzikálnych systémov, aj tréningové prostredie pre modely AI (tzv. loss functions) má svoje stabilné stavy. Wyart prirovnáva tieto stavy k „jamming transition“ pozorovanému u piesku – keď sa piesok začína správať ako pevná látka. Podobne aj v strojovom učení môžeme pozorovať zmeny v tréningovej krajine, ktoré vedú k zlepšeniu výkonu modelov.
