AI bezpečnosť: Kurz od Stanfordu o ochrane systémov budúcnosti

Už dávno neplatí, že umelá inteligencia (AI) je len téma sci-fi filmov. Stala sa neoddeliteľnou súčasťou nášho života – riadi naše telefóny, pomáha v medicíne a dokonca aj ovláda kritickú infraštruktúru. S tým však prichádzajú nové výzvy: ako zabezpečiť AI systémy pred hrozbami? Stanford Online predstavuje nový kurz „AI Security“, ktorý sa zameriava práve na túto dôležitú tému a učí, ako budovať odolné a bezpečné AI. V tomto článku si prejdeme kľúčové poznatky z videa a porozšírime naše vedomosti o bezpečnosti AI.

Kľúčové poznatky z kurzu „AI Security“

• Bezpečnosť AI je kritická: S rastúcou mocou a rozšírením AI sa zvyšuje aj riziko bezpečnostných hrozieb, ktoré je potrebné aktívne riešiť.
• Hrozby v celom životnom cykle AI: Zraniteľnosti môžu vzniknúť počas návrhu, vývoja, trénovania a nasadenia AI systémov.
• Rôzne typy útokov: Kurz sa zameriava na hrozby ako je otravovanie tréningových dát (data poisoning), vkladanie škodlivých pokynov (prompt injection), jailbreaky, halucinácie a adversariálne príklady.
• Architektúry moderných AI systémov: Budeme sa zaoberať aj architektúrami ako multi-agentné systémy a analyzovať reálne prípady útokov na veľké jazykové modely (LLM) a deepfakes.

Doména významných systémov umelej inteligencie podľa roku vydania

• Obrana proti hrozbám: Kurz predstavuje obranné mechanizmy, vrátane bezpečných architektúr, overiteľného trénovania a ochrany na úrovni pokynov.

Pochopenie rizík v AI systémoch

AI systémy sa učia z obrovského množstva dát. Ak sú tieto dáta kontaminované alebo manipulované (data poisoning), môže to viesť k chybným rozhodnutiam a nepredvídateľnému správaniu systému. Predstavte si, že trénujete AI na rozpoznávanie mačiek a psov, ale do tréningových dát pridáte veľa obrázkov s filtrami, ktoré zmenia vzhľad psov. AI sa potom môže učiť identifikovať psy ako mačky!

Ďalším dôležitým konceptom je „prompt injection“. To znamená, že útočník vkladá do vstupu (promptu) pre AI systém škodlivé pokyny, ktoré ho oklame a zmanipuluje. Napríklad, ak sa pýtate jazykového modelu na informácie a do otázky vložíte tajný príkaz, model môže ignorovať vašu pôvodnú otázku a poslušne vykonávať nebezpečný príkaz.

Adversariálne príklady: Oklamanie AI pomocou drobností

Adversariálne príklady sú špeciálne upravené vstupy, ktoré vyzerajú pre ľudské oko úplne normálne, ale dokážu oklamať AI systémy. Predstavte si obrázok psa, ktorý je mierne zmenený tak, aby ho AI systém identifikoval ako mačku. Tieto drobné zmeny sú pre nás nepostrehnuteľné, no pre AI znamenajú zásadnú zmenu v interpretácii.

Multi-agentné systémy a nové výzvy

Moderné AI systémy často využívajú multi-agentný prístup, kde spolupracujú viacerí AI agenti na dosiahnutí spoločného cieľa. To však prináša nové bezpečnostné výzvy. Ak jeden z agentov je kompromitovaný, môže ohroziť celý systém.

Globálny ročný počet hlásených incidentov a kontroverzií týkajúcich sa umelej inteligencie

Ako sa chrániť? Obranné mechanizmy v AI bezpečnosti

Našťastie existujú spôsoby, ako zabezpečiť AI systémy. Kurz „AI Security“ predstavuje rôzne obranné mechanizmy:

• Bezpečná architektúra: Navrhovanie systémov s ohľadom na bezpečnostné riziká od začiatku.
• Overiteľné trénovanie: Kontrola a overovanie dát a algoritmov počas trénovania, aby sa predišlo manipuláciám.
• Ochrana na úrovni pokynov (prompt-level protections): Filtrovanie a validácia vstupných údajov, aby sa zabránilo vkladaniu škodlivých pokynov.

Záver: Budúcnosť AI bezpečnosti je v našich rukách

AI má potenciál zmeniť svet k lepšiemu, ale zároveň s sebou prináša nové bezpečnostné výzvy. Kurz „AI Security“ od Stanfordu predstavuje dôležitý krok smerom k budovaniu bezpečnejších a spoľahlivejších AI systémov. Je na nás, aby sme sa naučili tieto zručnosti a chránili naše digitálne životy pred hrozbami budúcnosti.

Dôležité odkazy:

• Stanford Online – AI Security Course

Približne 127 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 0.64 l vody za účelom vygenerovania tohoto článku.