Nové Zistenia o Bezpečnosti LLM: OWASP Top 10 a SBOM
Nové hrozby pre LLM: OWASP Top 10 upozorňuje na „nadmernú autonómiu“ a potrebu komplexnej stratégie bezpečnosti AI. Šírenie dezinformácií predstavuje väčšie riziko ako prompt injection, najmä pri agentických systémoch. SBOM je kľúčový nástroj pre riadenie rizík.
V posledných rokoch sa rozsiahle jazykové modely (LLM) stali neoddeliteľnou súčasťou mnohých aplikácií. S tým však prichádzajú aj nové bezpečnostné riziká, ktoré si vyžadujú pozornosť. Najnovší zoznam OWASP Top 10 pre LLM aplikácie priniesol niekoľko prekvapení a zdôrazňuje potrebu komplexnej stratégie bezpečnosti AI. V tomto článku sa pozrieme na kľúčové body z videa IBM Technology, ktoré tieto riziká objasňujú a ponúkajú praktické rady, ako sa proti nim brániť.
OWASP Top 10 pre LLM: Zmeny a Prekvapenia
Zoznam OWASP Top 10 je známy svojou schopnosťou identifikovať najväčšie bezpečnostné hrozby v oblasti webových aplikácií. Teraz sa táto metóda aplikuje aj na LLM, čo prinieslo zaujímavé zistenia. Na prvom mieste stále figuruje prompt injection, čo je technika manipulácie s modelom prostredníctvom špecifických vstupov. Avšak výrazný posun nastal pri "excessive agency" (nadmernej autonómii), ktorá sa prekvapivo dostala na tretie miesto. To poukazuje na rastúce obavy z LLM, ktoré získavajú príliš veľa moci a môžu vykonávať akcie bez kontroly.
