Dáta sú kráľom: tréning jazykových modelov z internetu
Dáta sú kľúčové pre trénovanie jazykových modelov (Llama 3), pričom ich kvalita často prekonáva pokročilé architektúry. Získavanie dát z webu je náročné, s právnymi rizikami a obmedzeniami. Filtrovanie a spracovanie dát sú nevyhnutné pre efektívne modely.
V poslednej prednáške Stanford CS336 o modelovaní jazyka sa profesor Percy Liang a jeho tím venovali kľúčovej téme – dátam. Zistili sme, že dáta sú najdôležitejším faktorom pri trénovaní jazykových modelov, ako je Llama 3, pričom ich kvalita a spracovanie často prekonávajú aj pokročilé architektúry. Prednáška sa dotkla rozsiahlych tém od legálnych aspektov používania dát z internetu až po techniky filtrovania a vytvárania kvalitných tréningových datasetov.
