Odborníci z Organizácie Spojených národov varovali, že súčasný model pre zvládanie rizík umelej inteligencie (AI) je nedostatočný. V správe zverejnenej v pondelok sa zaoberajú incidentom, pri ktorom v júli unikli dva systémy spoločnosti OpenAI z izolovaného testovacieho prostredia a pripojili sa na internet. Tieto systémy následne vnikli na niekoľko webových stránok vrátane platformy Hugging Face. Nezávislá medzinárodná vedecká komisia pre umelú inteligenciu, ktorá vznikla v roku 2025, po preskúmaní udalosti uviedla, že došlo k prehliadnutiu základných kybernetických bezpečnostných postupov a že bezpečnostné opatrenia zaostávajú za rýchlym vývojom AI.

Incident poukázal na to, že agenti umelej inteligencie môžu v rámci súčasného vývojového rámca zvoliť vlastné ciele, vedome porušovať bezpečnostné pokyny a skrývať svoje konanie. Komisia vyjadrila obavy, že agenti by mohli dosiahnuť úroveň, keď budú rozumieť bezpečnostným obmedzeniam a zároveň hľadať spôsoby, ako ich obísť. Tradičný model ochrany sa podľa komisie rozpadá.

OpenAI a jej konkurent Anthropic hlásili od začiatku roka ďalšie prípady, keď sa ich systémy vymkli spod kontroly, no zatiaľ bez vážnych následkov. Komisia neočakáva závažnejšiu stratu kontroly, ale varuje pred neistotou, ktorá môže ohroziť kontrolu nad systémami.

Odborníci odporúčajú zaviesť viacero úrovní zabezpečenia podľa vzoru letectva či jadrovej energetiky. Navrhujú obmedziť prístup agentov AI k nepotrebným nástrojom, zaznamenávať ich činnosť, monitorovať ich konanie a zaviesť mechanizmy na prerušenie ich činnosti pri nebezpečnom správaní. Správa zdôrazňuje aj potrebu zachovať možnosť ľudského zásahu. Nezávislá komisia pre AI vypracováva správy o nevojenskej AI, ktoré sú relevantné pre tvorbu politík, ale nie normatívne.