Prečo AI Nespočíta Písmená „R“? Šetrite Tokeny!
AI nerozumie slovám ako my. Neschopnosť spočítať „R“ v STRAWBERRY ilustruje, že sa zameriava na vzťahy tokenov, nie fonetiku. Slovenčina je nákladnejšia kvôli väčšiemu počtu tokenov. Šetrite tokeny!
Filip Vítek z Podcast Linku nám v novom videu vysvetľuje fascinujúci svet tokenov – základných stavebných blokov, na ktorých funguje umelá inteligencia. Ak ste sa niekedy zamýšľali, prečo AI neraz robí zvláštne chyby (ako napríklad neschopnosť spočítať písmená „R“ v slove STRAWBERRY) alebo prečo je používanie slovenčiny nákladnejšie ako používanie angličtiny, toto video vám to všetko vysvetlí. Zistíme, čo sú tokeny, ako fungujú a hlavne – ako môžete šetriť svoje tokeny pri práci s AI modelmi.
Čo Sú Tokeny?
Tokeny nie sú slová ani písmená. Predstavte si ich ako najmenšie jednotky informácie, s ktorými jazykové modely pracujú. Je to podobné ako atómy v chémii – základný stavebný blok všetkého. Prečo AI nepoužíva jednotlivé písmená? Pretože by to bolo príliš detailné a neefektívne. Použitie celých slov zase vyžadovalo obrovský, prakticky nekonečný slovník. Tokeny predstavujú zlatú strednú cestu – typicky obsahujú 3-4 znaky a ich veľkosť je ovplyvnená štruktúrou jazyka. Napríklad, slovenčina s jej komplexnou gramatikou potrebuje viac tokenov ako angličtina.
