NVIDIA a Groq Spolupracujú: Nový AI Strojček pre Trilióny Parametrov

NVIDIA práve odhalila niečo nové o budúcnosti infraštruktúry umelej inteligencie: novú kombináciu čipov. Po prvýkrát, NVIDIA spája svoje GPU Rubin s akcelerátormi inferencie LPU od spoločnosti Groq v rámci rovnakého AI stroja. A tvrdia, že to prináša 35-násobne vyšší prietok inferencie a 10-násobne väčšiu príležitosť na zisk pre modely s triliónmi parametrov. Čo sa teda deje?

V tomto článku si rozoberieme architektúru GPU + LPU a čo to znamená pre ďalšiu fázu AI infraštruktúry. Pozrieme sa, prečo sa inferencia stala samostatným hardvérovým problémom a kde sa LPU hodí do nového systému Vera Rubin od NVIDIA na jeho riešenie a dosiahnutie fenomenálnych výsledkov. Je to začiatok novej heterogénnej AI architektúry, kde GPU zostávajú základom, ale špecializované čipy preberajú najťažšie úzke hrdlá? Alebo sa NVIDIA len uistí, že každá dôležitá vrstva AI stroja stále skončí pod jej kontrolou? (Spoiler: to, čo urobili, je geniálne.)

Prečo sa Zmenila Infraštruktúra Umelej Inteligencie?

Po celé roky bola infraštruktúra umelej inteligencie relatívne jednoducho vysvetliteľná. Tréning bežal na GPU a inferencia prevažne tiež na GPU. Väčšina serióznych hardvérových diskusií sa nakoniec zameriavala na GPU. Ale počas GTC 2026 NVIDIA mení tento obraz. Spoločnosť predstavuje AI továreň s rôznymi policami pre rôzne fázy umelej inteligencie. A vnútri tejto továrne má LPU špecifickú úlohu: stáva sa venovaným akcelerátorom inferencie, ktorý sedí vedľa GPU Rubin Rex a pomáha im rýchlejšie obsluhovať veľmi veľké modely.

Fázy Práce s AI – Predtréning, Post-tréning a Inferencia

Aby sme porozumeli tomu, prečo je to dôležité, pomôže oddeliť fázy práce s AI, pretože tieto fázy sa teraz čoraz viac líšia od seba. Predtréning je obrovská vzdelávacia fáza, kde je model vystavený obrovskému množstvu údajov a učí sa širokú štatistickú štruktúru. Post-tréning je miesto, kde sa základný model dolaďuje, zarovnáva alebo špecializuje. Testovanie škálovania (Test Time Scaling) nastáva, keď počas inferencie používate viac výpočtového výkonu, aby si model mohol dlhšie myslieť, hľadať alebo dôkladnejšie uvažovať. Agentická inferencia ide o krok ďalej. Nie je to už fáza, kde model dáva len jednu odpoveď a zastaví sa. Volá nástroje, spúšťa kód, kontroluje súbory, udržiava dlhý kontext a niekedy koordinuje s inými modelmi. Tieto pracovné zaťaženia netestujú hardvér rovnakým spôsobom. Predtréning miluje masívne paralelné výpočty a obrovské klastre. Agentická inferencia sa zaujíma oveľa viac o latenciu, pohyb pamäte, koordináciu a udržiavanie dlhej reťaze práce v mnohých krokoch.

Nový Systém NVIDIA: Špecializované Police pre Rôzne Úlohy

Práve preto nový systém NVIDIA delí továreň na špeciálne police pre rôzne tréningové, post-trénovacie a inferenčné časti pracovného zaťaženia modelu. Srdcom tohto systému je sedem nových čipov v plnej výrobe: Vera Rubin, Envink 6 switch, SX9, BF4, Spectrum X a NVIDIA Groq 3 LPU. Tieto siete čipov sú potom zostavené do piatich rôznych policových systémov Scala, ktoré slúžia pre rôzne tréningové a post-trénovacie a inferenčné časti pracovného zaťaženia modelu. Výsledky, aspoň čo sa týka oznámení, sú niečo, čo by naozaj stálo za to preskúmať.

GPU vs. LPU: Rôzne Silné Stránky

GPU majú veľmi vysoký prietok a LPU má extrémne nízku latenciu – ako je vidieť na obrázku. NVIDIA tak vytvorila kombináciu týchto dvoch čipov. Ak si to zhrnieme, keď model odpovedá, nevytvára celú odpoveď naraz. Generuje jeden token po druhom a tento proces sa nazýva dekódovanie. Každý nasledujúci token závisí od tokenov, ktoré prišli predtým. To robí dekódovanie sekvenčným a citlivým na latenciu. A keď modely rastú a kontextové okná sú dlhšie, stáva sa dôležitejšia cena opakovanej nasledujúcej tokenovej fázy. Ak je systém pomalý, ako napríklad GPU, model sa zdá byť pomalý v miestach, kde to používatelia skutočne všimnú. A práve tu vstupuje do hry LPU a stáva sa akcelerátorom dekódovania.

Ekonomika Triliónových Modelov: 35x Vyšší Prietok na Megawatt

NVIDIA hovorí, že rack Gro 3 LPX je navrhnutý pre nízku latenciu a veľké kontextové požiadavky. Ale hlavný výsledok, ktorému by sme sa mali venovať, je uvedený na tomto snímke. NVIDIA ukazuje pracovnú záťaž triedy GPT s triliónom parametrov a 400 000 kontextom a porovnáva tri režimy obsluhy: Blackwell NVL72, Rubin a VL72 a Rubin plus LPX. Tvrdí sa, že keď je pridaný LPX, systém dosahuje veľmi odlišný prevádzkový bod. Pri približne 500 tokenoch za sekundu na používateľa NVIDIA hovorí, že kombinovaný systém Rubin a LPX poskytuje 35-násobne vyšší prietok na megawatt.

GPU Stále Vedú, LPU Dopĺňa

GPU stále zakotvujú systém. Prinášajú väčšiu pamäťovú stopu, širšiu softvérovú vrstvu, flexibilitu cez tréning a inferenciu a úlohu primárnej výpočtovej platformy. LPU je pridaný vedľa neho na zrýchlenie cesty dekódovania s najťažšími pracovnými zaťaženiami obsluhy. Toto je miesto, ktoré teraz zaujíma v svete GPU, nie ako náhrada za GPU, ale ako špecialista pripojený k platforme Rubin na posunutie high-end inferencie ďalej, než to dokáže systém založený len na GPU.

História Groq a Budúcnosť AI Infraštruktúry

Groq bola pôvodne založená v roku 2016 Jonathanom Rossom a Douglasom Whitmanom. Dlho pracovali na probléme inferencie. Spoločnosť vznikla z názoru, že inferencia má iné prekážky ako tréning a že tieto prekážky opodstatňujú odlišnú architektúru. Preto Groq venoval toľko času zdôrazneniu deterministického vykonávania, kontroly kompilátora, rýchlej generácie tokenov a on-chip RAM. Premisa bola jednoduchá: ak je vašou prioritou rýchle a predvídateľné obsluhovanie modelov, mali by ste to navrhnúť priamo namiesto preberania predpokladov architektúry založenej na tréningu.

Heterogénna AI Infraštruktúra: Špecializácia je Kľúčom

Posun, ktorý NVIDIA práve demonštrovala, nám hovorí dôležité veci o stave infraštruktúry umelej inteligencie. Trh nie je už organizovaný okolo jedného univerzálneho akcelerátora, ktorý všetko robí rovnako dobre. Presúva sa smerom k heterogenitu. Rôzne fázy práce s AI sú drahé iným spôsobom a hardvér to začína odrážať. GPU zvládajú ťažkú prácu s modelmi. CPU racky zvládajú ťažké časti prostredia a nástrojov agenta. Tech storage drží a obsluhuje zdieľanú cache, ktorú model používa ako interný stav konverzácie. LPX teraz preberá časť premium inferencie s vysokou záťažou dekódovania. Je to geniálne. Výpočty sa stávajú heterogénnymi. A kam toto smeruje ďalej? Ak má NVIDIA pravdu, AI továrne sa stanú skôr konfigurovateľnými výrobnými systémami ako obrovskými hromadami identických serverov. Jednotka konkurencie sa posúva nahor. Namiesto toho, aby sme sa pýtali, ktorá spoločnosť má najlepší akcelerátor v izolácii, trh začne klásť otázku, ktorá spoločnosť dokáže zostaviť najlepšiu kompletnú vrstvu pre dané pracovné zaťaženie?

Zmena Paradigmy – Od Čipov k Kompletným Riešeniam

Toto je veľmi Nvidia-tvarová budúcnosť, pretože NVIDIA je najsilnejšia, keď sa súťaž presunie od samotných čipov k systémom, softvéru, sieti, úložisku a kontrole ekosystému. Stále existuje praktický limit. Väčšina spoločností nebude stavať triliónové parametrové obsluhovacie stohy vnútri. Väčšina používateľov stále kupuje výsledky prostredníctvom API, nie racky. Spúšťanie otvorených modelov vo veľkom rozsahu zostáva drahé a prevádzkovo náročné. Ale čo to znamená, je, že na fronte, kde skutočne záleží na ekonomike obsluhovania veľmi veľkých modelov, NVIDIA vidí dostatočnú hodnotu v špecializovanom akcelerátore dekódovania, aby mu dala trvalú úlohu v architektúre.

Kľúčové Zistenia

• Kombinácia GPU a LPU: NVIDIA kombinuje svoje GPU Rubin s LPU od Groq pre zrýchlenie inferencie obrovských modelov.
• Špecializované Police: AI továrne sa delia na špeciálne police pre rôzne fázy práce s AI, pričom LPU sa zameriava na akceleráciu dekódovania.
• 35x Vyšší Prietok: Kombinácia Rubin a LPX dosahuje 35-násobne vyšší prietok na megawatt.
• Heterogénna Infraštruktúra: Trh sa presúva smerom k heterogénnej AI infraštruktúre, kde rôzne hardvérové komponenty plnia špecifické úlohy.
• Nvidia Dominancia: NVIDIA posilňuje svoju pozíciu lídra v oblasti AI infraštruktúry tým, že integruje LPU do svojho ekosystému.

Odporúčania a Reflexie

Táto nová architektúra od NVIDIA naznačuje významný posun v spôsobe, akým pristupujeme k inferencii veľkých jazykových modelov. Zatiaľ čo GPU zostávajú základom, pridanie špecializovaných čipov ako LPU môže výrazne zlepšiť výkon a znížiť náklady. Je zaujímavé sledovať, ako sa bude táto tendencia vyvíjať v budúcnosti a či sa stane štandardom pre obsluhu triliónových modelov. Pre slovenské firmy a výskumníkov je dôležité sledovať tieto inovácie a zvážiť ich potenciálne využitie vo vlastných projektoch umelej inteligencie.

Zdroje

• Originálne video
• Groq a Nvidia vstupujú do nezáväznej licenčnej dohody o technológii inferencie na zrýchlenie AI inferencie vo svetovom meradle.
• GPU alternatíva? Čo je jednotka spracovania jazyka LPU?
• NVIDIA Vera Rubin Otvára Prednú Čiaru Agentickej AI

Približne 254 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.27 l vody za účelom vygenerovania tohoto článku.