ResNet: Revolúcia v umelej inteligencii a hlbokom učení
ResNet zmenil svet umelej inteligencie geniálnym trikom – „skip connections“. Táto sieť prelomila bariéry hlbokého učenia a riešila problém zmiznutých gradientov, čím umožnila trénovať oveľa hlbšie siete.
Video od Welch Labs nám prináša fascinujúci pohľad na príbeh jednej z najcitovanejších prác storočia – ResNet. Táto sieť, ktorá prelomila bariéry hlbokého učenia a položila základy pre modernú počítačovú vedu, je výsledkom geniálneho triku, ktorý nám autori podrobne vysvetľujú. Poďme sa spolu ponoriť do tohto príbehu!
Stále sa zlepšujeme? Problém s hlbokým učením
Na prelome rokov 2014 a 2015 zažíval svet hlbokého učenia rýchly pokrok. Modely sa stali čoraz hlbšími, čo viedlo k lepším výsledkom pri rozpoznávaní obrazov. AlexNet z roku 2012 bol prelomový moment, no tím Oxfordu a Googlu ešte v roku 2014 dokázal trénovať modely s až 22 vrstvami. Avšak na začiatku roka 2015 sa tento pokrok zastavil. Hlbšie siete začali podávať horšie výsledky ako menšie siete. Zdalo sa, že sme narazili na limit hlbokého učenia.
