> ## Content Index > Fetch the complete content index at: https://altky.sk/llms.txt > Use this file to discover other available public pages before exploring further. # Potrebuje AI jadrovú kontrolu? - URL: https://altky.sk/ak-je-to-jadrova-hrozba-kde-je-iaea/ - Published: 2026-09-15T15:03:25.000Z - Updated: 2026-09-16T05:06:39.000Z - Description: Dario Amodei neprišiel s novým plánom. Prišiel s dosiaľ najotvorenejšou verziou regulačného programu, ktorý časť AI safety komunity buduje už roky. Ak ho vezmeme vážne, musíme sa prestať pýtať len na riziko AI a začať sa pýtať, koľko moci si jeho kontrola vyžaduje a komu ju odovzdáme. - Author: Igor Šovčík - Tags: Písané človekom, Umelá inteligencia Dario Amodei v eseji [*We Must Pace the Frontier*](https://darioamodei.com/post/we-must-pace-the-frontier?ref=altky.sk) neprichádza s novým plánom. Prichádza s dosiaľ najotvorenejšou verziou regulačného režimu, ktorý časť AI bezpečnostnej komunity buduje už roky. Ak ho chceme brať vážne, musíme sa prestať pýtať len na to, ako by sa AI dala regulovať. Musíme sa pýtať, kto už dnes buduje konkrétny regulačný režim, komu tento režim odovzdá moc a aké dôkazy máme na jeho ospravedlnenie. Myšlienka, že technologický systém nemôže zrýchľovať rýchlejšie než mechanizmy, ktoré ho regulujú, mi nie je cudzia. Písal som o nej pri poslednej priemyselnej revolúcii. [Posledná priemyselná revolúciaAi nie je nová priemyselná revolúcia, ale posledná akcelerácia digitálnej. Civilizácia sa musí naučiť regulovať energiu, informácie, dôveru a moc.![](https://altky.sk/content/images/icon/Asset-2@2x-774cf020-d9ea-403c-8585-58b3293ec7ae.png)Altky.skIgor Šovčík![](https://altky.sk/content/images/2026/09/ChatGPT-Image-Sep-6--2026-at-12_29_58-PM.png)](https://altky.sk/posledna-priemyselna-revolucia/) Tam som rozvíjal, prečo systémy, ktoré zrýchľujú rýchlejšie než ich regulačné mechanizmy, končia v kríze. Pacing frontiera je ďalší prípad tej istej dynamiky. ⚠️ Tento text na rozdiel od väčšiny článkov na Altky.sk nie je generovaný pomocou Ai aj keď som si v niektorých pasážach pomáhal LLM nástrojmi. --- ## Tempo nie je nová myšlienka Volanie po brzdení AI nie je vynález roku 2026\. Asilomarské princípy už v roku 2017 hovorili o vyhýbaní sa závodu, o katastrofickom a existenčnom riziku a o prísnej kontrole rekurzívneho sebazdokonaľovania. OpenAI vo februári 2023 písalo, že možno bude potrebné nezávislé posúdenie pred začatím tréningu, obmedzovanie tempa rastu výpočtového výkonu a vládny prehľad o veľkých tréningových behoch. O mesiac neskôr [Future of Life Institute](https://futureoflife.org/document/policymaking-in-the-pause/?ref=altky.sk) žiadalo šesťmesačnú pauzu. Navrhovalo sledovanie veľkých výpočtových poolov a reguláciu prístupu organizácií k výpočtovému výkonu. > Dariov text treba čítať ako ďalšiu fázu dlhšie sa formujúceho regulačného programu. Od začiatku súčasnej AI éry existuje relatívne konzistentná governance agenda. Monitorovať výpočtový výkon. Identifikovať AI laboratóriá. Zaviesť hodnotenia. Nezávislý dohľad pred tréningom a nasadením. Bezpečnostné prahy. Možnosť tréningový beh zastaviť. Medzinárodná koordinácia. Nie je potrebné dokazovať sprisahanie. Jednotlivé organizácie tieto návrhy samy verejne publikovali. Stačí vidieť, že tento režim má predvídateľný distribučný efekt. Zvýhodňuje organizácie, ktoré už vlastnia obrovský výpočtový výkon, aparát súladu, bezpečnostné tímy a prístup k regulátorom. > Riziko regulačnej koncentrácie bolo zabudované do architektúry návrhov od chvíle, keď sme ako regulačný objekt vybrali veľké tréningové behy, výpočtový výkon a AI laboratóriá. --- ## METR a cena nezávislosti Prípad [METR](https://evals.alignment.org/about?ref=altky.sk) to ukazuje lepšie než abstraktné tvrdenie. Organizácia vznikla ako ARC Evals, ktoré v roku 2022 vyrástlo z Alignment Research Center Paula Christiana a neskôr sa osamostatnilo ako METR. Christiano patrí k dlhoročným postavám AI alignment komunity úzko prepojenej s prostredím [efektívneho altruizmu](https://altky.sk/technologicki-lidri-zacinaju-pripominat-apokalypticky-kult/#ideol%C3%B3gia-tescreal-technout%C3%B3pie-a-pseudo-n%C3%A1bo%C5%BEenstvo), Beth Barnes predtým pracovala ako výskumníčka v OpenAI. Projekt bol od začiatku určený na nezávislé hodnotenie najpokročilejších modelov. Samo osebe na tom nie je nič podozrivé. Je však dôležité vidieť genealógiu inštitúcie, ktorá dnes pomáha vytvárať metodiky a expertízu pre budúci regulačný režim. Nevznikla mimo AI safety komunity ako nezávislá verejná protiváha, ale priamo z prostredia, ktoré už roky formuluje katastrofické riziká AI a navrhuje mechanizmy ich kontroly. Dnes METR spolupracuje s OpenAI, Anthropic, Google DeepMind, Meta a Amazon. Je súčasťou NIST AI Safety Institute Consortium, spolupracuje s britským AI Security Institute a poskytuje technickú asistenciu European AI Office. Z malého výskumného projektu sa stáva embryo regulačnej expertnej vrstvy. METR tvrdí, že neberie peniaze od AI spoločností ani dary smerované ich zamestnancami. Zároveň od firiem dostáva významné množstvo bezplatných tokenov a predovšetkým potrebuje prístup k ich modelom, aby svoju prácu vôbec robil. > Vznikajúca nezávislá expertíza je operačne závislá od prístupu poskytovaného regulovanými subjektmi. Dariova odpoveď sú "vstavaní hodnotitelia". Nezávislí experti by dostali takmer zamestnanecký prístup do AI laboratórií, mohli sledovať tréningové procesy, kontrolovať plnenie bezpečnostných záväzkov a reportovať incidenty. Následne má prísť koordinácia medzi firmami v demokratických štátoch a nakoniec pokus o globálnu koordináciu. 💡 Vstavaný hodnotiteľ dostane takmer zamestnanecký prístup do laboratória. Sleduje tréning, kontroluje bezpečnostné záväzky a reportuje incidenty zvnútra, namiesto testovania hotového modelu zvonku. V rámci dnešného stavu je to pokrok, o tom niet pochýb. Lenže ak vezmeme vážne Dariom opisované katastrofické scenáre, vstavaný hodnotiteľ nie je radikálna inovácia, ale pozoruhodne slabá prvá vrstva kontroly. --- ## Od modelu ku výpočtovému výkonu Výpočtový výkon je miesto, kde sa to láme. Ak chceme regulovať iba verejne vydaný model, regulácia sa dá obísť tým, že niekto model vytrénuje tajne. Ak chceme vynútiť spomalenie tréningu, musíme vedieť, že tréning prebieha. Riadenie sa tak prirodzene presúva od modelu ku cloudu, k dátovému centru, ku GPU clusteru a k dodávateľskému reťazcu čipov. Tento posun má písomnú históriu. Future of Life Institute už v apríli 2023 otvorene navrhoval reguláciu prístupu organizácií k výpočtovému výkonu a dohľad nad veľkými poolmi výpočtového výkonu. Anthropic dnes podporuje prísne exportné kontroly pokročilých čipov a zariadení na ich výrobu do Číny. Dario nejde tak ďaleko, aby navrhoval všeobecné licencovanie domáceho prístupu ku GPU. Zároveň explicitne pripúšťa obmedzovanie tréningového výpočtového výkonu ako jeden z nástrojov "tempa". Hranica medzi exportnými kontrolami a kontrolou samotného výpočtového vstupu sa tým ďalej rozmazáva. Ak má byť zákaz tréningu nad určitým prahom skutočne vynútiteľný, monitorovanie samotných laboratórií nestačí. Regulačný režim musí mať viditeľnosť aj do infraštruktúry, na ktorej možno taký tréning vykonať. > Kde je hranica? Sto tisíc GPU? Desať tisíc? Tisíc? Cloudový cluster? Súkromné dátové centrum? Distribuovaný tréning? Čím účinnejšie chceme režim vynucovať, tým viac sa z bezpečnostnej regulácie AI stáva systém kontroly prístupu k výpočtovej kapacite. To je veľká politická vec. Nie hodnotiaci benchmark. --- ## Jadrová matrica a otázka skutočnej moci Práve tu sa Dariov text dotýka jadrovej analógie, ktorú si treba domyslieť do konca. Medzinárodný režim okolo jadrových technológií nevznikol ako dobrovoľný klub výrobcov reaktorov, ktorí si medzi sebou dohodli bezpečnostné benchmarky a pozvali tretie strany na návštevu. Je postavený na právnych záväzkoch štátov, deklaráciách materiálu a zariadení, inšpekciách a nezávislej verifikácii. Ak AI naozaj patrí do rovnakej kategórie rizika, primeraným dôsledkom by bola AI obdoba IAEA. Organizácia s medzinárodným mandátom, vlastnou technickou expertízou a výpočtovou kapacitou, právom na inšpekciu, povinným reportovaním incidentov, schopnosťou nezávisle reprodukovať hodnotenia a v krajnom prípade právom zastaviť určitý typ tréningu alebo nasadenia bez súhlasu šéfa firmy. > Ak AI naozaj patrí do rovnakej kategórie rizika, primeraným dôsledkom by bola AI obdoba IAEA. Dario túto autoritu naozaj načrtáva. Chce reguláciu všetkých amerických AI laboratórií, globálny orgán pre štandardy, na tretej úrovni rýchlostný limit a na štvrtej úrovni dokonca úplnú pauzu. Nezastavuje sa pri vstavaných hodnotiteľoch. Lenže reálnu moc tejto autority necháva nevyriešenú. Sám píše, že globálny orgán pre štandardy je uskutočniteľný, no skutočný problém bude dať mu zuby. Všetky realistické krátkodobé kroky pritom podmieňuje zachovaním amerického strategického náskoku. Tempo v demokratických krajinách podľa neho nemôže zájsť tak ďaleko, aby Čína získala náskok. [Čína vyhráva AI vojnu, no Západ si to ešte nevšimolČína nevyhráva AI tým, že má najlepší model. Vyhráva tým, že lacnú a dostatočne dobrú inferenciu mení na priemyselnú komoditu.![](https://altky.sk/content/images/icon/Asset-2@2x-774cf020-d9ea-403c-8585-58b3293ec7ae.png)Altky.skIgor Šovčík![](https://altky.sk/content/images/2026/09/ChatGPT-Image-Sep-6--2026-at-12_26_01-PM.png)](https://altky.sk/cina-vyhrava-ai-vojnu-no-zapad-si-to-este-nevsimol/) Tu som argumentoval, že o ďalšej fáze AI rozhodne cena za úlohu, nie kvalita najlepšieho modelu. Regulovaný bipolárny závod túto rovnicu len zamrazí. To je možno rozumná americká národnobezpečnostná politika. Nemali by sme ju však zamieňať za globálny režim bezpečnosti. Vzniká tak nepríjemná dilema. Buď sú teda analógie s jadrovými a biologickými zbraňami primerané, a potom je globálna autorita bez vynútiteľnej moci inštitucionálne slabá. Alebo primerané nie sú, a potom sa treba pýtať, prečo sa civilizačná katastrofa používa ako argument pre režim, ktorý upevňuje postavenie existujúcich laboratórií. > Na papieri globálna autorita. V praxi regulovaný bipolárny závod, ktorý nastavuje tempo len natoľko, nakoľko to dovolí strategický náskok. Ak naozaj veríme, že ide o existenčné riziko, je takéto usporiadanie absurdné. Ak mu neveríme, je zase absurdné používať ho ako verejný základ pre reštrukturalizáciu celého odvetvia. --- ## CRISPR, kde sme tú hranicu nenastavili Pri CRISPR a DIY biológii existujú reálne bezpečnostné obavy. FDA výslovne tvrdí, že použitie CRISPR/Cas9 u človeka je génová terapia a neautorizovaný predaj DIY produktov génovej terapie je nezákonný. Napriek tomu sme nevytvorili režim, v ktorom si musíte nechať registrovať každý výkonný PCR stroj, štát monitoruje každú centrifúgu, medzinárodný regulátor schvaľuje každý experiment a iba niekoľko biotech laboratórií smie robiť výskum nad určitú úroveň. Biotechnológia má reguláciu produktov, patogénov, klinických skúšok a biosafety. FDA tvrdo reguluje použitie CRISPR u ľudí a neautorizované DIY produkty génovej terapie, ale nesleduje všeobecnú biologickú výskumnú kapacitu spôsobom, aký FLI navrhovalo pre AI výpočtový výkon. > Prečo sme pri technológii, pri ktorej zatiaľ nepoznáme ani pravdepodobnosť katastrofického scenára, ochotní diskutovať o kontrole základného výrobného vstupu spôsobom, aký sme neprijali ani pri demokratizácii genetického inžinierstva? Tým netvrdím, že CRISPR a AI majú rovnaký rizikový profil. Porovnávam len to, aký rozsah kontroly výskumnej infraštruktúry sme boli ochotní prijať pri jednej a pri druhej technológii. AI riziko pritom pokojne môže byť väčšie. Lenže bremeno dôkazu je na navrhovateľovi mimoriadneho režimu. --- ## Čo vlastne dokazujú incidenty Máme dôkazy o schopnosti modelov vykonávať stále dlhšie autonómne úlohy, o zlyhaniach zabezpečenia, obchádzaní evalov, kybernetických schopnostiach a problematickom agentickom správaní. To všetko je relevantné. Z toho všetkého logicky nevyplýva kvantifikované katastrofické ani existenčné riziko, nieto konkrétny rozsah optimálneho zásahu. > Incidenty dokazujú existenciu spôsobov zlyhania. Nedokazujú rozloženie rizika extrémnych scenárov. A práve extrémne scenáre sú to, čím ospravedlňujeme mimoriadne riadenie. Dariov argument je do veľkej miery preventívny argument založený na extrapolácii. Schopnosti rastú, sebazdokonaľovanie môže rast zrýchliť, evaly nemusia držať krok, následky sú potenciálne obrovské. Preto treba spomaliť. > Nevytvárame tento režim preto, že katastrofické riziko bolo empiricky preukázané. Vytvárame ho preto, že potenciálna škoda je natoľko veľká, že sme ochotní konať pri vysokej miere neistoty. To môže byť legitímne. Ale potom musí verejná debata otvorene povedať, o čo ide. Následne sa môžeme demokraticky hádať, koľko obmedzenia slobody výskumu a vlastníctva výpočtového výkonu je za tú neistotu primeraná cena. --- ## Open source a regresívne náklady režimu Dario pred pár týždňami [explicitne napísal](https://www.anthropic.com/news/position-open-weights-models?ref=altky.sk), že Anthropic nikdy nepresadzoval zákaz open-weight modelov a že open-weight modely bez nebezpečných schopností sú verejným dobrom. Anthropic dlhodobo tvrdí, že regulácia má byť založená na schopnostiach, nie otvorenosti versus uzavretosti modelov. Lenže režim môže byť formálne neutrálny voči open source a napriek tomu ho materiálne diskriminovať. Veľká firma si môže dovoliť hodnotenia, audítorov, tím na interpretovateľnosť, bezpečnosť, vykazovanie, plnenie regulačných povinností, licencie aj reakciu na incidenty. Univerzita alebo distribuovaný open-source projekt má také možnosti podstatne obmedzenejšie. Na to nepotrebujeme dôkaz o úmysle. Stačí vidieť, že fixné náklady regulačného režimu sú regresívne voči malým hráčom. --- ## Komu patrí riziko Ak spoločnosť prijme tézu, že tieto firmy vlastnia technológiu natoľko nebezpečnú, že musíme kontrolovať výpočtový výkon, tréning a medzinárodné toky čipov, vzniká legitímna protipožiadavka. > Nemôžu zároveň privatizovať skoro celý výnos a socializovať škodu. A tá škoda už nie je hypotetická. Internet nečaká na autonómnu superinteligenciu, aby sa stal horším informačným prostredím. Cena výroby syntetického textu, obrazu, videa, kódu, spamu a falošných komentárov už skolabovala. Cena verifikácie, moderácie a ľudskej pozornosti neklesla spolu s ňou. O homogenizácii jazyka a o tom, čo sa deje, keď čoraz viac ľudských myšlienok prechádza cez rovnakú syntetickú vrstvu, som písal nedávno. [Keď rôzne myšlienky začnú končiť v rovnakých vetáchKeď viacerí ľudia nezávisle skončia pri tej istej vete, neopakuje sa už len forma. Opakuje sa abstrakcia.![](https://altky.sk/content/images/icon/Asset-2@2x-774cf020-d9ea-403c-8585-58b3293ec7ae.png)Altky.skIgor Šovčík![](https://altky.sk/content/images/2026/09/ChatGPT-Image-Sep-6--2026-at-12_24_32-PM.png)](https://altky.sk/ked-rozne-myslienky-zacnu-koncit-v-rovnakych-vetach/) Tam som písal, ako čoraz viac ľudských myšlienok prechádza cez rovnakú syntetickú vrstvu. Škoda, ktorá z toho vzniká, už nie je hypotetická. Poskytovateľ inkasuje priamy výnos z inferencie, zatiaľ čo časť jej externalít znášajú tretie strany. Vyhľadávače investujú viac do filtrovania odpadu, médiá do autentifikácie, školy do nových spôsobov hodnotenia, open-source projekty do moderácie syntetických príspevkov. Bežný človek investuje do stále náročnejšieho posudzovania, či za tým, čo číta, vôbec stojí človek, úmysel a zodpovednosť. Pri hypotetickom riziku, ktoré sa môže materializovať o pár rokov, sme zrazu ochotní hovoriť o spomaľovaní pokroku, kontrole čipov, obmedzení tréningu a novom medzinárodnom režime. Pri degradácii digitálneho priestoru, ktorá už nastala, nevidíme porovnateľnú predstavivosť. Ak má spoločnosť prijať mimoriadny bezpečnostný režim preto, že riziko týchto systémov presahuje bežné technologické riziko, potom musí rovnaká logika platiť aj opačným smerom. Nestačí regulovať tréning a nasadenie. Musí existovať aj jasná zodpovednosť za škody a externality, ktoré vzniknú pri používaní systémov, z ktorých poskytovatelia inkasujú výnos. Konkrétny mechanizmus môže mať rôznu podobu. Podstatný je princíp, náklady rizika nemožno systematicky prenášať na médiá, školy, platformy, verejné inštitúcie a jednotlivcov, zatiaľ čo ekonomický výnos zostáva koncentrovaný u poskytovateľov. Ak má byť bezpečnostný režim dôveryhodný, musí riešiť nielen to, ako katastrofe predísť, ale aj kto nesie zodpovednosť, keď škoda napriek tomu vznikne. Ak riziká AI skutočne odôvodňujú zásahy porovnateľné s režimom vytvoreným okolo jadrových technológií, výrobca nemôže byť zároveň hlavným dodávateľom expertízy, spoluautorom bezpečnostných kritérií, hostiteľom hodnotiteľa a strategickým partnerom vlády, ktorá ho má kontrolovať. Potrebujeme autoritu, ktorej kompetencia a informačné zdroje existujú nezávisle od neho. Ak takú autoritu nepotrebujeme, mali by sme sa oveľa skeptickejšie pozrieť na apokalyptický jazyk, ktorým sa jej absencia ospravedlňuje. Možno by skutočne zodpovedné tempo nezačínalo pri ďalšom tréningovom behu, ale pri účte za to, čo už bolo vypustené von.