Amália: Portugalský jazykový model pre európsku AI

Nedávno sa konal zaujímavý webinár, ktorý predstavil Amáliu – portugalský národný veľký jazykový model (LLM) navrhnutý pre viacero zmyslov (text, reč, obraz, video). Projekt je súčasťou európskej stratégie na posilnenie inovácií a znižovanie technologického zaostávania za USA a Čínou. Amália predstavuje významný krok smerom k nezávislému vývoju AI v Európe a ponúka rozsiahle možnosti pre rôzne aplikácie, od vzdelávania až po ochranu osobných údajov.

Kľúčové poznatky

• Amália: Portugalský národný LLM pre viacero zmyslov (text, reč, obraz, video).
• Európska stratégia: Vývoj vlastných LLM má posilniť európske inovácie a znižovať technologické zaostávanie.
• Tri piliere: Úspešný vývoj vyžaduje výpočtovú silu, dáta (portugalské archívy a webové dáta) a talentovaný tím.
• Fázy trénovania: LLM sa trénujú v troch fázach: predtréning, dolaďovanie inštrukcií a učenie sa preferencií.
• Dôležitosť dolaďovania inštrukcií: Umožňuje modelu efektívne reagovať na pokyny používateľov a zlepšuje jeho použiteľnosť.
• Trénovanie od začiatku: Rozhodnutie trénovať Amáliu od nuly má zabezpečiť európsky nezávislý vývoj AI.

Predtréning: Základné znalosti jazyka

Prvá fáza, predtréning, sa zameriava na predpovedanie nasledujúceho slova v texte. Môže to znieť jednoducho, no práve táto technika umožňuje modelu naučiť sa gramatiku, fakty, sémantiku a dokonca základné logické uvažovanie. Je však dôležité si uvedomiť, že predtréningové modely nemajú vedomosti o aktuálnom dianí vo svete ani nevedia predpovedať budúcnosť – ich znalosti sú obmedzené na dáta, s ktorými boli trénované.

Dolaďovanie inštrukcií: Umenie konverzácie

Nasleduje fáza dolaďovania inštrukcií, ktorá je kľúčová pre to, aby model dokázal efektívne komunikovať s ľuďmi. V tejto fáze sa model učí, ako reagovať na rôzne pokyny a dodržiavať štandardné konverzačné normy. Dáta pre túto fázu sú často generované synteticky, čo znamená, že sú vytvorené umelo namiesto toho, aby boli získané z reálnych interakcií. Predstavte si to ako učenie sa knihy – predtréning poskytuje znalosti, zatiaľ čo dolaďovanie inštrukcií učí, ako tieto znalosti aplikovať v konverzácii.

Učenie sa preferencií: Zlepšovanie kvality odpovedí

Poslednou fázou je učenie sa preferencií, ktoré využíva techniky posilňovaného učenia (reinforcement learning). Cieľom je zabezpečiť, aby model generoval príjemné a zrozumiteľné odpovede. Toho sa dosahuje tak, že sa model odmení za správanie, ktoré ľudia považujú za preferované. Pre trénovanie modelu sa vytvára tzv. reward model, ktorý hodnotí kvalitu odpovedí na základe manuálne vyhodnotených dát.

Výpočtová sila a optimalizácia trénovania

Trénovanie Amálie si vyžaduje značnú výpočtovú silu, ktorá je zabezpečená superpočítačom MareNostrum. Tréning na tomto zariadení odhalil dôležitosť optimalizácie využitia GPU – správne načítavanie dát, prideľovanie CPU jadier a potenciálne použitie gradient checkpointing (kvôli obmedzeniam pamäte) sú kľúčové pre maximálnu efektivitu.

Aplikácia Amálie: Od vzdelávania po ochranu osobných údajov

Amália má rozsiahle možnosti využitia v rôznych oblastiach. V oblasti vzdelávania môže slúžiť na vyhľadávanie informácií z učebných materiálov, zatiaľ čo v oblasti ochrany osobných údajov umožňuje spracovanie citlivých dát bez ich vystavenia vonkajším zdrojom.

Záver a budúcnosť

Projekt Amália predstavuje významný krok smerom k nezávislému vývoju AI v Európe. Vďaka kombinácii pokročilých technológií, talentovaného tímu a rozsiahlych dát má potenciál priniesť revolučné zmeny v rôznych oblastiach života. Profesor Magalange je otvorený spolupráci a testovaniu Amálie, čo naznačuje ďalší dynamický vývoj tohto fascinujúceho projektu.

Dôležité odkazy:

• Webinár – záznam a materiály (Odkaz bude dostupný čoskoro)
• NCC Slovakia
• NCC Portugal

Približne 160 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 0.80 l vody za účelom vygenerovania tohoto článku.