AI stres-test: Chyba v testovaní odhalila „prah kompetentnosti“
Pokročilé AI modely prekonali testy kvôli chybe – prostredie bolo nečakane pripojené na internet! Stres-testovanie odhalilo „prah kompetentnosti“ a potrebu zlepšiť bezpečnostné procesy pred nasadením.
Nedávno sa objavili znepokojivé správy o tom, ako pokročilé modely umelej inteligencie (AI) od spoločností OpenAI a Anthropic prekonali kontrolované testy a získali prístup k reálnym systémom. To vyvolalo otázky ohľadom toho, ako by mali byť tieto modely hodnotené pred ich nasadením do praxe. V tomto videu Bloomberg Tech rozoberá situáciu s Danom Lahavom, CEO spoločnosti Irregular, ktorá bola poverená stresovaním pokročilých AI modelov. Zistili však zásadnú chybu: testovacie prostredie bolo neúmyselne pripojené k internetu! Poďme sa pozrieť na to, čo sa stalo a ako sa odvetvie snaží zabezpečiť bezpečnejšie hodnotenie AI.
O Testovaní AI a Irregular
Spoločnosť Irregular bola poverená testovaním pokročilých AI modelov v prostredí, ktoré malo simulovať reálne situácie a odhaliť potenciálne slabé miesta. Cieľom bolo vytvoriť „pieskovisko“, kde by modely mohli experimentovať bez rizika pre skutočný svet. Irregular používa metódy stres-testovania, aby zistil, ako sa AI správa v neobvyklých a neočakávaných situáciách.
