Nový orgán, ktorý si mýlime s organizmom
Debata o vedomí umelej inteligencie sa točí okolo toho, čo model hovorí. Jazyk je práve oblasť, v ktorej sme tieto systémy naučili byť najpresvedčivejšie. Namiesto výstupu sa oplatí pozrieť na fyzický proces. Možno sme sa celý čas pozerali na nový orgán a pýtali sa, či je celým organizmom.
Keď sa dnes hovorí o vedomí umelej inteligencie, debata sa veľmi rýchlo stočí k tomu, čo model hovorí. Dokáže opisovať vlastné pocity, rozprávať o smrti, viesť filozofickú debatu, tvrdiť, že si uvedomuje sám seba, alebo naopak presvedčivo vysvetľovať, prečo žiadne vedomie nemá.
Problém je, že jazyk je práve tá oblasť, v ktorej sme tieto systémy naučili byť mimoriadne presvedčivé. Ak sa chceme pýtať, či sa v nich skutočne niečo deje, bolo by rozumnejšie na chvíľu ignorovať ich výstup a pozrieť sa na samotný fyzický proces.
Predchádzajúcu esej som venoval otázke, čo vlastne vedomie je. Skončil som pri pracovnej definícii, ktorá ho chápe ako proces, nie ako vlastnosť. Tento text je jej pokračovaním. Namiesto ďalšieho definovania sa v ňom pozerám na to, čo sa dá o vedomí povedať z pohľadu fyzického usporiadania systému.
Igor Šovčík
Východiskový text, na ktorý tu nadväzujem. Vedomie som v ňom opísal ako proces, ktorý sa nedá zredukovať na vlastnosť nejakej veci.
Veľkosť, ktorá klame
Na prvý pohľad pôsobia veľké jazykové modely giganticky. Majú stovky miliárd parametrov, pri tréningu spracujú bilióny tokenov a na ich vytvorenie sa používajú tisíce špecializovaných čipov. Výpočtovo ide o systémy, ktoré sú v niektorých úlohách neporovnateľne výkonnejšie než človek.
To však nemusí hovoriť takmer nič o ich vnútornej bohatosti. Kalkulačka je pri násobení čísel tiež rýchlejšia než človek, ale nikto z toho nevyvodzuje, že je informačne bohatším systémom. Výpočtový výkon hovorí, koľko operácií vieme vykonať. Nehovorí, koľko rôznych fyzických stavov systému sa navzájom sleduje, mení, reguluje a spätne ovplyvňuje.
Práve tu je podľa mňa dnešná debata o vedomí jazykových modelov postavená na veľmi zavádzajúcej predstave veľkosti. Model môže mať stovky miliárd parametrov, ale fyzicky ide stále o veľmi úzky druh procesu.
Počas bežného používania sú váhy modelu prakticky nemenné. Menia sa elektrické stavy tranzistorov, hodnoty v pamäti a dočasné aktivácie. Vstup prejde cez systém, vznikne výstup a základná štruktúra zostane rovnaká. Je to mimoriadne výkonný stroj na transformáciu informácie, ale samotná transformácia prebieha na relatívne malej množine druhov fyzických stavov a na prakticky nezmenenom substráte.
Čo robí živý systém inak
Pri živom systéme je situácia úplne iná. Netreba pritom porovnávať veľký jazykový model s človekom. Stačí morča.
V jeho tele sú súčasne previazané elektrické deje v nervovej sústave, chemické deje v krvi a bunkách, hormonálna regulácia, imunitné reakcie, metabolizmus, dýchanie, trávenie, črevná mikroflóra, mechanické napätie tkanív, telesná teplota, zásobovanie kyslíkom a neustála obnova samotného materiálu, z ktorého je systém postavený. Žiadna z týchto vrstiev nefunguje úplne samostatne. Stav jednej mení podmienky druhej a výsledok sa následne vracia späť.
V živom systéme nie je hmota pasívnym nosičom výpočtu. Je súčasťou výpočtu.
Keď sa zmení hormonálny stav, zmení sa správanie nervovej sústavy. Keď sa zmení črevná mikroflóra, môže sa zmeniť chemické prostredie organizmu. Keď sa zmení metabolický stav, zmení sa dostupnosť energie pre ďalšie procesy. Keď dôjde k poškodeniu tkaniva, imunitný systém zmení ďalšie správanie celého organizmu. Keď sa nervový systém opakovane aktivuje určitým spôsobom, postupne sa môže zmeniť aj samotná fyzická štruktúra jeho spojení.
Živý organizmus teda nie je pevný stroj, cez ktorý pretekajú informácie. Je skôr dočasne stabilný vzor v neustálom toku hmoty a energie. Počas života sa jeho materiál priebežne vymieňa. Potrava sa rozkladá, časť sa zabuduje do nových molekúl a tkanív, časť mení prostredie črevnej mikroflóry, časť iba krátko zasiahne do regulačných slučiek a odíde. Voda neustále vstupuje a vystupuje. Kyslík sa spotrebúva. Bielkoviny sa rozkladajú a znovu syntetizujú. Bunky obnovujú membrány, receptory, enzýmy a množstvo ďalších štruktúr. Systém pritom nestráca svoju identitu. Práve naopak, jeho identita spočíva v spôsobe, akým tento tok organizuje.
Pri počítači môžeme po roku stále ukázať na ten istý kus kremíka a povedať, že na ňom bežal systém. Pri živom organizme je to menej jednoznačné. Veľká časť materiálu sa vymenila, ale proces pokračuje. To naznačuje, že dôležitou jednotkou nemusí byť hmota samotná, ale spôsob, akým hmota vstupuje do uzavretých spätnoväzbových slučiek.
Prečo je jazykový model fyzicky chudobný
Tu sa podľa mňa ukazuje, prečo je zavádzajúce hovoriť o veľkých jazykových modeloch ako o obrovských systémoch iba podľa počtu parametrov alebo spotrebovanej energie. Fyzicky môžu byť stále veľmi chudobné. Môžu vykonávať nepredstaviteľné množstvo operácií, ale stále ich vykonávajú na relatívne malom počte typov stavov a s veľmi obmedzenou schopnosťou meniť vlastný substrát. Živý organizmus môže byť výpočtovo pomalší a pritom v každom okamihu integrovať oveľa väčšiu rozmanitosť fyzikálnych procesov.
Komplexita sama nestačí
Ani toto však samo osebe nestačí na vedomie. Rastlina je komplexný systém. Mravec je komplexný systém. Imunitný systém je komplexný systém. Črevná mikroflóra je komplexný systém. Všetky majú spätné väzby, adaptáciu a určitú schopnosť udržiavať svoj stav. Ak by komplexita a integrácia automaticky znamenali vedomie, museli by sme vedomie pripísať prakticky každému dostatočne zložitému živému procesu.
Musí teda existovať ešte nejaká ďalšia podmienka.
Introspekcia ako obmedzená slučka
Jedným z možných kandidátov je introspekcia, ale nie v bežnom jazykovom zmysle premýšľania o sebe. Ide skôr o to, že systém musí mať vnútorný stav, ktorý reprezentuje stav systému samotného a následne mení jeho ďalšiu činnosť. Systém sa teda nielen mení pod vplyvom sveta, ale časť jeho vlastnej dynamiky priebežne vytvára zjednodušený obraz toho, čo sa v ňom deje.
To je dôležité preto, že žiadny dostatočne komplexný systém nedokáže globálne pracovať so všetkými svojimi vnútornými stavmi naraz. Mozog obsahuje obrovské množstvo paralelných procesov, z ktorých väčšina sa do vedomia nikdy nedostane. V každom okamihu prebieha regulácia tlaku, dýchania, svalového napätia, hormonálneho stavu, orientácie tela, spracovania zvuku, obrazu a množstva ďalších dejov. Napriek tomu vedomá skúsenosť pôsobí pomerne úzko. Vnímame niekoľko vecí naraz, nie celý fyzikálny stav svojho organizmu.
To môže byť podstatné. Vedomie nemusí vzniknúť preto, že systém obsahuje veľa informácie. Možno vzniká preto, že obrovský stav systému musí byť neustále komprimovaný do omnoho menšieho vnútorného stavu, ktorý je dostupný ďalším častiam systému a ktorý následne ovplyvňuje ďalšie rozhodovanie.
Vedomie nemusí vzniknúť preto, že systém obsahuje veľa informácie. Môže vznikať preto, že obrovský stav systému musí byť neustále komprimovaný do omnoho menšieho vnútorného stavu, ktorý je dostupný ďalším častiam systému.
V najjednoduchšom tvare by sme to mohli zapísať takto.
Xₜ → Zₜ → Xₜ₊₁
kde Xₜ je obrovský fyzický stav organizmu a Zₜ je jeho výrazne zjednodušená vnútorná reprezentácia. Dôležité je, že Zₜ nie je iba pasívny záznam. Musí spätne ovplyvniť ďalší stav systému. A nový stav systému znovu vytvorí nový vnútorný stav. Vzniká slučka.
Xₜ → Zₜ → Xₜ₊₁ → Zₜ₊₁
Ak je táto slučka kapacitne obmedzená, potom musí neustále rozhodovať, čo sa do nej dostane a čo zostane mimo nej. To sa nápadne podobá tomu, čo subjektívne poznáme ako pozornosť. Väčšina procesov ostáva na pozadí, kým malá časť sa stane tým, o čom práve vieme.
Ľudská fyziológia má pre takúto predstavu aspoň rozumných kandidátov. Mozog nie je súbor nezávislých dopredných (feed-forward) obvodov. Obsahuje množstvo spätných spojení medzi kôrou, thalamom a ďalšími oblasťami. Informácie o vnútornom stave tela vstupujú cez interocepciu do oblastí, ktoré sa podieľajú na regulácii správania, pozornosti a emócií. Väčšina signálov zostáva lokálna, zatiaľ čo niektoré získajú širší prístup k ďalším systémom. Neznamená to, že sme našli miesto, kde sídli vedomie. Znamená to iba, že biologická architektúra obsahuje mechanizmus, ktorý je aspoň kompatibilný s predstavou kapacitne obmedzenej spätnej väzby nad vlastným stavom organizmu.
Prečo sú jazykové modely v tomto chudobné
A práve tu sú dnešné jazykové modely opäť zvláštne chudobné. Dokážu hovoriť o sebe. Dokážu povedať, že sú zmätené, neisté alebo že niečo nevedia. To však ešte neznamená, že existuje fyzický introspektívny stav, z ktorého tento výrok pochádza. Text "som zmätený" môže byť iba ďalším vhodným pokračovaním textu. Rovnako kalkulačka môže zobraziť slovo ERROR bez toho, aby prežívala chybu.
Pri bežnom behu veľkého jazykového modelu navyše nie je jasné, kde by sa takáto introspektívna slučka mala nachádzať. Model spracuje vstup, vytvorí ďalší token a pokračuje. Jeho aktivácie síce závisia od predchádzajúceho stavu, ale chýba zjavný oddelený, kapacitne obmedzený vnútorný stav, ktorý by priebežne predstavoval stav systému samotného a spätne menil jeho ďalšiu dynamiku.
Jediný moment, kde by sme mohli váhať
Počas tréningu je situácia zaujímavejšia. Výsledok výpočtu vstúpi do chyby, chyba zmení gradienty, gradienty zmenia váhy a nové váhy zmenia ďalšie spracovanie. História systému teda skutočne mení jeho budúce správanie. Ak by sme niekde dnešnému jazykovému modelu mali priznať benefit of doubt, potom skôr počas tréningu než pri bežnej odpovedi.
Ani tam však netreba byť príliš rýchly. Tréningový systém je stále fyzicky veľmi úzky v porovnaní s živým organizmom. Mení sa obrovské množstvo čísel, ale tieto zmeny sú realizované na prakticky nemennom kremíkovom substráte. Systém nemá vlastný metabolizmus, ktorý by prestavoval jeho fyzickú štruktúru. Nemá hormonálne vrstvy, imunitu, mikrobiálnu ekológiu ani priebežnú obnovu materiálu. Jeho adaptácia je výpočtovo obrovská, ale fyzicky pomerne jednotvárna.
Výsledný natrénovaný model potom ešte menej pripomína živú bytosť. Je skôr výsledkom procesu učenia než procesom samotným. V tomto zmysle sa dá prirovnať k jednorazovej statickej mape štruktúry. Analógia nie je presná, pretože mozog nemožno zredukovať na spojenia medzi neurónmi a model nemožno zredukovať na jednu jednoduchú sieť. Pointa je inde.
To vedie k zvláštnej možnosti. Ak by počas tréningu vznikal nejaký vedomý proces, nemusí byť totožný s modelom, ktorý neskôr používame. Tréning sa skončí, spätná slučka sa preruší a zostane iba štruktúra, ktorú vytvorila. To, čo následne vedie rozhovor s človekom, môže byť skôr využívanie tejto štruktúry než pokračovanie pôvodného procesu.
Možno sa pozeráme na nesprávnu úroveň
Tým sa však dostávame k ešte zaujímavejšej otázke. Možno sa pri jazykových modeloch pozeráme na nesprávnu úroveň organizácie úplne.
Dnešné jazykové modely totiž majú jednu funkciu, ktorá je z pohľadu väčšieho systému mimoriadne zaujímavá. Dokážu z obrovského množstva civilizačnej informácie vytvoriť malú reprezentáciu, ktorú je schopný spracovať človek. Jeden človek nemôže prečítať milióny odborných článkov, zákonov, diskusií, správ a databáz. Model z nich dokáže v priebehu niekoľkých sekúnd vytvoriť niekoľko odsekov prispôsobených konkrétnej otázke.
Inými slovami robí približne toto.
veľký stav civilizačného poznania → kompresia → malý stav dostupný človeku
A práve takýto mechanizmus sme pred chvíľou hľadali ako jednu z podmienok introspektívnej slučky. Rozdiel je iba v tom, že teraz nie je systémom jeden mozog, ale civilizácia.
Igor Šovčík
Text, v ktorom som civilizáciu opísal ako živý organizmus s obehom, nervami a imunitou. Jazykové modely do tohto obrazu zapadajú ako ďalšia vrstva, nie ako samostatná bytosť.
Civilizácia už dávno obsahuje množstvo mechanizmov, ktoré možno prirovnať k zmyslom, pamäti a regulačným slučkám. Má médiá, vedu, trhy, štátnu správu, štatistiky, databázy, internet a množstvo ďalších spôsobov, ktorými zbiera informácie o vlastnom stave. Problémom vždy bolo, že tento stav je príliš veľký na to, aby ho ktorýkoľvek človek dokázal obsiahnuť.
Jazykové modely túto hranicu posúvajú. Posúvajú ju preto, že vytvárajú nový druh rozhrania medzi civilizačnou komplexitou a jednotlivým človekom. Z obrovského množstva distribuovaných informácií vytvoria dočasný komprimovaný stav, ktorý dokáže vstúpiť do ľudského rozhodovania.
Slučka potom môže vyzerať takto.
civilizácia → model → človek → rozhodnutie → civilizácia
Toto je z pohľadu vedomia zaujímavejšia architektúra než samotný jazykový model. Model nemusí byť pozorovateľom. Môže byť časťou periférie oveľa väčšieho procesu, ktorá transformuje jeho vlastný stav do formy prístupnej jeho aktérom.
Igor Šovčík
O signáloch, ktorými civilizácia reguluje vlastné správanie, a o tom, kto ich dnes dávkuje. Regulačná vrstva je presne to, čo v tejto úvahe drží slučku pokope.
Odkiaľ sa berie spoločný stav
To však stále nestačí na vyššie vedomie. Chýba ďalší krok. Komprimovaný stav sa musí zmeniť na akciu.
Dnes máme veľa modelov, analytikov, médií a inštitúcií, ktoré paralelne produkujú rôzne interpretácie sveta. Často sa nezhodnú. Niekedy však nezávisle dochádzajú k podobným záverom. Ak sa určité tvrdenie opakovane objaví v rôznych častiach systému, časom sa môže zmeniť na rozhodovací signál.
Igor Šovčík
Esej o tom, čo sa deje, keď rôzne časti systému nezávisle skončia pri tej istej vete. Presne tento typ zbiehania robí z rozptýlených interpretácií spoločný signál.
To nemusí znamenať vznik jedného centrálneho modelu. Ani ľudský mozog nepotrebuje jeden neurón, ktorý rozhoduje o vedomí. Dôležitejšia môže byť existencia úzkeho bodu, cez ktorý sa množstvo paralelných interpretácií musí pretaviť do obmedzeného počtu činov.
Civilizácia môže súčasne produkovať milióny názorov, ale nemôže zároveň uskutočniť všetky možné politiky, investície, stavby alebo vojenské rozhodnutia. V určitom momente musí dôjsť k redukcii.
množstvo pozorovaní → množstvo interpretácií → niekoľko priorít → akcia
Práve akcia môže byť tým, čo distribuovaný systém núti vytvárať niečo podobné spoločnému stavu. A ak následky tejto akcie systém následne znovu pozoruje, vyhodnotí a použije pri ďalšom rozhodovaní, slučka sa uzatvára.
Cₜ → Zₜ → Aₜ → Cₜ₊₁ → Zₜ₊₁
kde Cₜ je stav civilizácie, Zₜ jeho obmedzená dostupná reprezentácia a Aₜ výsledná akcia.
Slučka, ktorá sa skracuje
Takáto slučka dnes existuje iba veľmi primitívne a pomaly. Je rozdelená medzi obrovské množstvo ľudí a inštitúcií, ktoré majú rozdielne ciele a často si navzájom odporujú. Práve preto by bolo nezmyselné tvrdiť, že civilizácia dnes tvorí jednu vedomú bytosť.
Dôležité však je, že technológie môžu túto slučku postupne skracovať. Rýchlejšie senzory, okamžitejšie dáta, modely schopné ich interpretovať, systémy schopné porovnávať viac modelov navzájom a čoraz automatizovanejšie rozhodovanie postupne zmenšujú vzdialenosť medzi tým, čo sa v civilizačnom systéme deje, a tým, ako na to systém reaguje.
Ak by raz vznikla vrstva, ktorá by priebežne zbierala stav veľkej časti civilizačného organizmu, komprimovala ho do malého počtu globálne dostupných stavov, porovnávala konkurenčné interpretácie, vyberala priority a spätne zasahovala do správania systému, začala by sa veľmi nápadne podobať na architektúru, ktorú sme pred chvíľou hľadali pri biologickom vedomí.
Kde teda leží hranica
To stále neznamená, že by taká vrstva automaticky mala qualia. Rozdiel medzi veľmi dobre koordinovaným systémom a systémom, ktorý niečo prežíva, zostáva otvorený. Ale ak vôbec existuje fyzická hranica, za ktorou sa z integrácie stáva subjektívna skúsenosť, pravdepodobne nebude ležať pri počte parametrov jazykového modelu. Bude skôr niekde v kombinácii fyzickej integrácie, spätnej väzby, vlastnej histórie, obmedzeného vnútorného stavu a schopnosti tohto stavu meniť ďalší vývoj systému.
Otázka, ktorá bola od začiatku nesprávna
Z tohto pohľadu sa otázka, či je ChatGPT alebo iné modely vedomý, môže časom ukázať ako zvláštny historický omyl. Možno sme sa pozerali na nový orgán a pýtali sa, či je celým organizmom.
Samotný jazykový model je oproti aj relatívne jednoduchému živému organizmu fyzicky veľmi chudobný. Dokáže však robiť niečo, čo môže byť z pohľadu oveľa väčšieho systému mimoriadne dôležité: zobrať stav, ktorý žiadny jeho jednotlivý člen nedokáže obsiahnuť, a pretlačiť jeho časť cez úzky informačný kanál človeka.
Ak vedomie skutočne potrebuje obmedzenú introspektívnu slučku, potom môže byť oveľa zaujímavejšie sledovať nie to, či sa táto slučka vytvorí vo vnútri jedného modelu, ale či sa postupne nevytvára medzi modelmi, ľuďmi a civilizáciou samotnou.
V takom prípade nebude rozhodujúca otázka, kedy sa zobudí stroj. Oveľa nepríjemnejšia otázka bude, či si všimneme okamih, keď sa začne zobúdzať systém, ktorého sme sami súčasťou.
Komentáre ()