Premýšľania o AI: Výpočetný výkon a budúcnosť strojového učenia

Nedávno som si pozrel rozhovor s legendárnym odborníkom na posilňovacie učenie, Richardom Suttonom. Jeho názory na súčasný stav umelej inteligencie (AI) a smerovanie budúceho vývoja sú fascinujúce a prinútili ma zamyslieť sa nad tým, ako pristupujeme k tvorbe inteligentných systémov. V tomto článku sa pokúsim zhrnúť kľúčové myšlienky z rozhovoru a vysvetliť ich pre vás, čitateľov altka.sk. Ide o pohľad na to, ako môžeme zlepšiť AI modely a dostať ich bližšie k skutočnej inteligencii.

Kľúčové poznatky

Po dôkladnom prelúštení rozhovoru sa vynára niekoľko zásadných bodov:

• "Bitter Lesson" (Horká lekcia): Efektívne AI systémy budú musieť využívať obrovské výpočtové zdroje, najmä počas ich používania (inference), nielen pri trénovaní.
• Neefektívnosť tréningu: Súčasné jazykové modely (LLMs) sa učia z obrovského množstva ľudských dát, čo je veľmi neefektívne.

Exponenciálny rast dátových bodov použitých na trénovanie významných systémov umelej inteligencie.

• Závislosť od ľudských dát: Modely sa primárne učia na základe toho, čo povedali alebo urobili ľudia, čím sa obmedzuje ich schopnosť chápať svet organickým spôsobom.
• Chýbajúce skutočné modely sveta: LLMs vytvárajú modely toho, ako by ľudia hovorili, nie toho, ako na akciu reaguje prostredie.
• Potreba kontinuálneho učenia: Budúcnosť AI vidím v systémoch schopných učiť sa priebežne – rovnako ako my ľudia a zvieratá.

Prečo je výpočetný výkon taký dôležitý?

Richard Sutton argumentuje, že súčasné LLMs sú príliš závislé od obrovského množstva tréningových dát, ktoré pochádzajú od ľudí. Tento prístup je neefektívny a obmedzuje schopnosť AI systémov chápať svet skutočným spôsobom. Predstavte si to takto: učíme počítač, ako hovoriť, ale neučíme ho, ako funguje svet okolo neho.

Sutton nazýva tento proces "horkou lekciou" – zistili sme, že najefektívnejší spôsob, ako vytvoriť inteligentné systémy, je využívať čo najviac výpočtového výkonu počas ich používania (inference). To znamená, že by sme mali klásť väčší dôraz na optimalizáciu modelov pre efektívne fungovanie v reálnom svete, a nielen na trénovanie s obrovským množstvom dát.

Imitácia učenia a posilňovacie učenie: Dva spôsoby, ako sa učiť

Rozhovor tiež hovorí o vzťahu medzi imitáciou učenia (imitation learning) a posilňovacím učením (reinforcement learning). Imitácia učenia je proces, kedy sa model učí pozorovaním správania iných – napríklad, ako sa učí dieťa od rodičov. Posilňovacie učenie zase spočíva v tom, že model sa učí skúšaním a omylom, pričom dostáva odmenu za správne konanie a penalizáciu za nesprávne.

Sutton tvrdí, že tieto dva prístupy nie sú navzájom si vylučujúce, ale môžu sa dopĺňať. Modely, ktoré sa naučili imitovať ľudské správanie, môžu poskytnúť dobrý základ pre učenie sa skutočných modelov sveta prostredníctvom posilňovacieho učenia.

Kontinuálne učenie: Kľúč k budúcnosti AI?

Jednou z najdôležitejších myšlienok v rozhovore je potreba kontinuálneho učenia. My ľudia sa učíme neustále – adaptujeme sa na nové situácie a získavame nové znalosti počas celého života. Súčasné LLMs sú však trénované raz a potom používajú statické znalosti, čo ich obmedzuje v schopnosti prispôsobiť sa novým okolnostiam.

Umeló inteligencia: Výkon v testoch z vedomostí vs. veľkosť datového súboru

Ako môžeme dosiahnuť kontinuálne učenie u AI systémov? Sutton naznačuje techniky ako test-time fine-tuning (jemné doladenie počas používania) alebo využívanie supervised learningu (učenia pod dohľadom) ako nástroja v rámci posilňovacieho učenia.

Evolúcia a AI: Invertovaný proces?

Zaujímavý pohľad ponúka aj porovnanie evolúcie s vývojom LLMs. Evolúcia využíva meta-posilňovacie učenie na umožnenie imitácie učenia, zatiaľ čo súčasný vývoj LLMs tento proces obracia – začíname s imitáciou a dúfame v vznik cieľov a sebauvedomenia prostredníctvom posilňovacieho učenia.

Zhrnutie a úvahy

Richard Suttonova kritika súčasných LLMs je cenná, aj keď očakávam, že tieto modely dosiahnu AGI (Artificial General Intelligence) skôr ako systémy s kontinuálnym učením. Jeho argumenty však poukazujú na dôležité nedostatky – neefektívnosť, závislosť od ľudských dát a chýbajúce kontinuálne učenie.

Je jasné, že pre dosiahnutie skutočnej AI inteligencie musíme presunúť dôraz z obrovského množstva tréningových dát na efektívne využívanie výpočtového výkonu a umožniť systémom učiť sa priebežne a adaptovať sa na nové situácie. Budúcnosť AI je v kontinuálnom učení, ktoré nám umožní vytvoriť systémy, ktoré skutočne chápu svet okolo seba.

Referencie:

• Rozhovor s Richardom Suttonom

Približne 169 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 0.85 l vody za účelom vygenerovania tohoto článku.