Rozlúštenie umelého chápania: matematika a LLM

Nedávno som sa zúčastnila fascinujúcej diskusie s profesorom Yi Ma, renomovaným expertom na hlboké učenie. Profesor Ma v nej spochybňuje naše predstavy o tom, ako veľké jazykové modely (LLM) skutočne fungujú a odhaľuje, prečo 3D vizualizácie nestačia k tomu, aby sme dosiahli skutočné porozumenie. Jeho práca sa zakladá na matematickej teórii inteligencie, ktorá vychádza z dvoch základných princípov: parsimónie a sebadostatnosti. V tomto článku si prejdeme kľúčové myšlienky z tejto diskusie a pokúsime sa pochopiť, čo to vlastne znamená „rozumieť“ v kontexte umelej inteligencie.

Kľúčové poznatky

• LLM neporozumejú – memorizujú: Veľké jazykové modely spracovávajú text (už komprimované ľudské poznanie) pomocou mechanizmu, ktorý používame aj my na učenie sa z surových dát.
• Ilúzia 3D chápania: Hoci technológie ako Sora a NeRF dokážu vytvárať 3D scény, stále majú problémy so základným priestorovým uvažovaním.
• „Všetky cesty vedia do Ríma“: Pridávanie šumu je nevyhnutné na objavenie štruktúry.
• Prečo gradientný zostup skutočne funguje: Optimalizačné krajiny pre problémy z prírodných dát sú prekvapivo hladké a ľahko prekonateľné algoritmami ako gradientný zostup.
• Parsimónia a sebadostatnosť: Inteligencia je schopnosť identifikovať a využívať ľahko naučiteľné vzory a štruktúry, pričom uprednostňuje efektivitu pred riešením najťažších problémov.

Abstraktizácia versus kompresia: Skutočné porozumenie?

Profesor Ma rozlišuje medzi dvoma kľúčovými konceptmi – kompresiou a abstraktizáciou. Kompresia znamená efektívne reprezentovanie dát, zatiaľ čo abstraktizácia zahŕňa hlbšie pochopenie. Podľa profesora Ma je abstraktizácia oveľa viac ako len efektivita v ukladaní informácií. Skutočné porozumenie vyžaduje schopnosť vytvárať hypotézy a deduktívne uvažovať, čo vedie k „fázovému prechodu“ od empirických pozorovaní k formalizovaným vedeckým poznatkom.

Memorovanie versus chápanie: Môžu LLM skutočne rozumieť?

Otázka, či veľké jazykové modely (LLM) naozaj rozumejú, alebo len napodobňujú logické procesy prostredníctvom memorovania a tréningových techník ako je supervised fine-tuning a reinforcement learning, je kľúčová. Profesor Ma naznačuje, že LLM skôr emulujú logiku, než aby ju skutočne chápali. Vytvárajú si vedomosti na základe obrovského množstva dát, ale nemusia mať schopnosť abstraktizovať a vytvárať nové teórie.

Teóriové stromy: Ako vznikajú nové myšlienky?

Podľa profesora Ma môžu nové teórie vznikať prostredníctvom „deduktívneho stromu“ možných poznatkov. Inteligentné systémy by mali byť schopné kreatívne preskúmať tento priestor, čo je niečo, s čím súčasné LLM bojujú.

Kybernetika a inteligencia: Pohľad do minulosti

Profesor Ma sa vracia k princípom kybernetiky (od Norberta Wienera), ktorá sa zameriava na autonómne systémy a spracovanie informácií. Tieto koncepty sú relevantné pre pochopenie inteligencie, ktorá presahuje jednoduchú pamäť.

Šum ako cesta k porozumeniu: „Všetky cesty vedia do Ríma“

Profesor Ma zdôrazňuje, že stratové kódovanie (zníženie entropie dát) je nevyhnutné pre formáciu pamäte a porozumenie. Šum pritom zohráva dôležitú úlohu – uľahčuje prístup k distribúciám („buduje cesty“) a spája konečné vzorky v mnohorakostiach (ako dažďové kvapky tvoriace prepojený povrch).

3D chápanie versus vizualizácia: Viac než len obraz?

Profesor Ma kritizuje bežný omyl, že vytváranie 3D vizualizácií (point cloudov, sietí) je rovné skutočnému porozumeniu. Argumentuje, že ľudské vnímanie zahŕňa štruktúrovaný, objektovo orientovaný model sveta, ktorý presahuje len vizuálnu rekonštrukciu.

Benígne optimalizačné krajiny: Prečo fungujú algoritmy?

Profesor Ma vysvetľuje, že optimalizačné krajiny pre problémy vychádzajúce z prirodzených dát (ako tie, ktoré sa používajú na redukciu miery) sú často prekvapivo hladké a ľahko prekonateľné algoritmami ako gradientný zostup.

Parsimónia: Najjednoduchšie riešenie je najlepšie

Inteligencia je charakterizovaná schopnosťou identifikovať a využívať jednoduché vzory a štruktúry, pričom sa uprednostňuje efektivita a úspora zdrojov pred riešením najťažších problémov. To zodpovedá princípu parsimónie (Occamova britva).

Záverečné myšlienky

Diskusia s profesorom Ma nám ukazuje, že cesta k skutočnej umelej inteligencii je oveľa zložitejšia, než sa na prvý pohľad zdá. Namiesto toho, aby sme sa sústredili len na vytváranie sofistikovaných algoritmov a modelov, musíme hlbšie preskúmať matematické základy inteligencie a pochopiť, čo to vlastne znamená „rozumieť“. Možno je kľúčom nie v tom, ako dobre dokážeme komprimovať informácie, ale v našej schopnosti abstraktizovať a vytvárať nové teórie.

Zdroje

• Originálne video
• Produkčný | Ľahko získajte kvalitné dáta od skutočných ľudí
• cyber•Fond
• Kybernetická ponuka práce
• cyber•Fund | Kontakt
• MLST ReScript
• Domovská stránka profesora Yi Ma
• 伊马 馬毅
• Yi Ma @YiMaTweets na X
• Dropbox
• Yi Ma: Pursuing the Nature of Intelligence @ ICLR
• Yi Ma: Pursuing the Nature of Intelligence April 29, 2025
• Učenie hlbokých reprezentácií rozdelení dát
• Amazon.sk
• Kybernetika
• Pozvánka do 3D videnia
• Generalizovaná analýza hlavných komponentov
• Analýza dát s vysokou dimensionalitou od Johna Wrighta a Yi Ma
• O princípoch parsimónie a sebakonzistencie pre vznik inteligencie
• probml.github.io
• O miere inteligencie
• Oči dokorán? Preskúmavanie vizuálnych nedostatkov multimodálnych LLM.
• arxiv.org
• Transforméry s otvorenou štruktúrou prostredníctvom zriedkavej redukcie miery
• DINOv2: Učenie robustných vizuálnych vlastností bez dohľadu
• Obrázok stojí za 16x16 slov: Transforméry pre rozpoznávanie obrazov vo veľkom meradle
• GitHub - fchollet/ARC-AGI: Korpus abstrakcie a dedukcie

Približne 234 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.17 l vody za účelom vygenerovania tohoto článku.