Kontrastné učenie: Reprezentácia dát bez označovania
Učíme stroje rozlišovať medzi podobnými a odlišnými vstupmi bez označovania dát! Kontrastné učenie vytvára vektorové reprezentácie (embeddingy) a umožňuje nové technológie, ako je Retrieval-Augmented Generation (RAG).
Prednáška z predmetu Stanford CS229 Machine Learning nám prináša fascinujúci pohľad do sveta reprezentácie dát a techník, ako naučiť počítače rozlišovať medzi podobnými a odlišnými vstupmi – či už ide o obrázky, text alebo zvuk. Hlavným hrdinom je kontrastné učenie, metóda, ktorá umožňuje vytvárať „embeddingy“ (vektorové reprezentácie) bez potreby rozsiahlych označených dátových súborov. V tomto článku sa pozrieme na to, ako funguje a prečo je také dôležité, najmä v kontexte moderných jazykových modelov a technológií ako Retrieval-Augmented Generation (RAG).
Čo je to reprezentácia dát?
Predstavte si, že chcete počítaču ukázať obrázky mačiek. Namiesto toho, aby sme mu povedali „toto je mačka“, chceme ho naučiť, ako reprezentovať tieto obrázky v podobe číselných vektorov. Podobné obrázky (napríklad rôzne plemená mačiek) by mali mať vektory blízko seba, zatiaľ čo odlišné obrázky (napríklad mačka a pes) by mali byť ďaleko od seba. Týmto spôsobom môžeme počítaču urobiť vyhľadávanie podobných obrázkov oveľa jednoduchšie – stačí porovnať vektory!
