Technológia

Microsoft AI získava prístup k osobným dátam? Video od Roba Braxmana varuje pred AI agentmi a vyzýva na používanie open-source nástrojov (OpenClaw, Hermes) pre ochranu súkromia. Ignorovanie AI je ako ignorovanie internetu v 90. rokoch! Učte sa AI a buďte nezávislí.

Technologický týždeň priniesol nárast hodnôt Micron a SK Hynix (HBM pre AI), odhalenie pašovania čipov NVIDIA a úspešný test Starshipu SpaceX. Peter Diamandis vidí v AI a robotike obrovský potenciál rastu, zatiaľ čo Salesforce potrebuje dokázať silu AI.

Získavanie dát pre jazykové modely vyžaduje dômyselné filtrovanie, odstraňovanie duplikátov a miešanie rôznych zdrojov. Syntetické dáta ponúkajú nové možnosti rozšírenia tréningových datasetov a zlepšenia výkonu modelov. Kvalita dát je kľúčová pre efektívne učenie.

Post-training jazykových modelov využíva RLVR na riešenie problémov RLHF. GRPO sa ukazuje ako efektívny algoritmus pre trénovanie, dosahujúci výsledky porovnateľné s OpenAI 01. Kľúčom je overiteľná doména a relatívny výkon simulácií.

Od GPT-3 po ChatGPT: Evolúcia jazykových modelov vyžaduje rozsiahly post-tréning a zameranie sa na kvalitu dát, nie len ich objem. Post-tréning je kľúčový pre inteligentných agentov s integráciou nástrojov a alternatívami RLHF (DPO).

AI revolúcia vyžaduje masívne škálovanie výpočtového výkonu. OpenAI plánuje 30 gigawattov do konca dekády, pričom inferencia bude dominovať (80% zaťaženia). Intel sa vracia k CPU a budúcnosť prinesie univerzálny prístup ku GPU.