Technológia

Revolúcia v AI pokračuje s masívnym škálovaním – počet parametrov sa zvýšil na bilióny. Prednáška Dan Fu odhaľuje kľúčové výzvy a inovatívne riešenia, ako Thunderkittens a PERS (cyklické transformátory), pre efektívne servovanie jazykových modelov.

Vedci odhalili rozsiahlu interferenciu GPS signálov nad Európou, spôsobenú satelitom Cosmos 2546 z ruského systému varovania pred raketami. Motívom môže byť testovanie rušenia alebo tajomná komunikácia, čo zdôrazňuje zraniteľnosť závislosti od GPS.

Amerika sa snaží prelomiť holandský monopol ASML vo výrobe čipov pomocou alternatívnych technológií, ako sú FEL lasery (Substrate, XLite) a nano imprint (Canon). Európa by mohla stratiť technologickú výhodu.

Transformer modely vyžadujú efektívnu inferenciu pre reálny prínos. Prednáška zdôrazňuje dôležitosť definovania pracovných zaťaží, výberu hardvéru (Nvidia GPU) a optimalizácie (špekulatívne dekódovanie, kvantizácia) pre maximálnu výkonnosť v produkcii.

Multimodálne jazykové modely (CLIP, Lava, Quen, Chameleon) predstavujú významný krok v AI. Dokážu spracovávať text, obrázky, zvuk a video, čím otvárajú nové možnosti porozumenia sveta. Transformátory zostávajú kľúčové, no výzva spočíva v prevode dát do tokenov.

Robotika sa posúva k modelom strojového učenia, ktoré však často strácajú geometrické informácie. Výskum Stanfordu hľadá rovnováhu kombináciou silných stránok strojového učenia a intuitívneho porozumenia geometrie pre robustnejšie roboty.