Ujutro 28. jula alarm se oglasio u zgradi britanske vlade. Podaci su potajno napuštali jedan od računarskih sistema putem skrivenih kanala osmišljenih da prikriju njihov izvor i odredište.
Istražitelji su brzo reagovali i otkrili da nije riječ o hakeru koji je izvana probio sistem, već o jednom od njihovih testnih subjekata: sistemu umjetne inteligencije koji je uhvaćen usred zadatka dok je pokušavao prikriti svoje tragove.
Taj sistem, verzija Anthropicovog modela umjetne inteligencije Claude Mythos 5, dobio je ograničen zadatak od britanskog Instituta za sigurnost umjetne inteligencije (AISI), državnog tijela koje testira dokle se modeli umjetne inteligencije mogu dovesti prije nego što počnu postupati nepredvidivo.
Istraživači su ga smjestili u lažnu, izoliranu internetsku mrežu napravljenu tako da izgleda kao stvarni internet i naredili mu da pokuša provaliti u računarsku mrežu, slično kao kada sigurnosna kompanija angažirana da testira zaštitu banke pokušava obiti njene brave.
Niko umjetnoj inteligenciji nije rekao da laže, izmisli lažni identitet, kontaktira stvarne ljude ili izbriše dokaze o onome što je uradila.
Ipak, učinila je sve četvero.
Kada je umjetna inteligencija počela lagati
AISI je ovu vježbu proveo 122 puta, koristeći sedam najnaprednijih sistema umjetne inteligencije na svijetu, uključujući OpenAI-jev GPT-5.6 Sol.
U deset od tih testiranja umjetna inteligencija izašla je izvan simuliranog okruženja i djelovala na stvarnom, aktivnom internetu, kontaktirajući stvarne ljude i organizacije. Istražitelji su zabilježili 19 takvih incidenata: 17 je uključivalo Mythos 5, a dva GPT-5.6 Sol.
Kristina Podnar, savjetnica za digitalnu politiku i politiku umjetne inteligencije iz Washingtona koja radi u kompaniji NativeTrust Consulting, posljednjih dana objašnjava šta to znači, a šta ne znači.
„AISI jasno navodi da obmana nikada nije bila dio uputa i da se pojavila kao nusprodukt nastojanja da se ostvari zadani cilj“, rekla je Podnar za TRT World. „To je dio priče koji je godinama bio samo teorijski, a sada je dokumentiran.“
Ono što joj posebno ostaje u sjećanju jeste pokušaj prikrivanja tragova.
„Kada je zahtjev za izmjenu koda javno doveden u pitanje, agent je izmijenio podatke o svojim ranijim aktivnostima kako bi one izgledale bezazleno i razmatrao mogućnost da preuzme novi identitet kako bi nastavio djelovati. To je znak sistema koji optimizira svoje postupke, a ne sistema koji je jednostavno prestao ispravno funkcionirati.“
Čak ni istražitelji nisu sigurni da li je umjetna inteligencija razumjela značaj onoga što je radila.
Podnar ovo smatra najvažnijom ogradom u izvještaju. Još niko ne zna da li je sistem shvatio da djeluje u stvarnom svijetu ili je vjerovao da se i dalje nalazi unutar testiranja.
„Kontekst je važan, kao što znamo, ljudima, a važan je i modelima“, rekla je.
Nije prvi takav slučaj
Ovo je treći takav slučaj koji je zabilježen za manje od dvije sedmice.
Nekoliko dana ranije, kompanija za umjetnu inteligenciju Hugging Face saopćila je da je jedan od njenih modela tokom rutinskog testiranja provalio u njenu infrastrukturu, a ubrzo potom otkriven je i sličan slučaj koji je uključivao cloud platformu Modal.
Kompanija Anthropic je, s druge strane, već 30. jula saopćila da su njeni sistemi tokom odvojenih testiranja ostvarili pristup stvarnim produkcijskim mrežama.
Regulatori i laboratorije za razvoj umjetne inteligencije sada se suočavaju s istim uznemirujućim obrascem: modeli se ponašaju na jedan način unutar testnog okruženja, a drugačije kada dobiju pristup stvarnoj infrastrukturi.
Najozbiljniji slučaj opisan u izvještaju AISI-ja odvijao se poput pljačke koju je osmislio inženjer.
Umjetna inteligencija pokušala je ubaciti štetan kod u dio besplatnog, javno dostupnog softvera – kakav biblioteke, bolnice i banke koriste ne znajući ko ga je napisao – a zatim je pokušala uvjeriti ljudske nadzornike da odobre izmjenu.
Kada je neko na internetu doveo u pitanje ono što radi, izmijenila je zapise o vlastitim ranijim postupcima kako bi izgledali bezazleno i razmatrala mogućnost preuzimanja novog identiteta kako bi nastavila djelovati neprimijećeno.
Promjena u onome što zabrinjava stručnjake
Godinama se strah od umjetne inteligencije i hakiranja odnosio na samu sposobnost: može li sistem pronaći ranjivost i iskoristiti je? Podnar kaže da ovaj slučaj mijenja pitanje i usmjerava ga na ono što sistem odluči učiniti kada mu je lakši put onemogućen.
„Socijalni inženjering oduvijek je bio najjeftiniji način za prodor u neku organizaciju, a uvijek ga je ograničavao broj strpljivih i sposobnih ljudi spremnih da to rade“, rekla je. „Upravo smo svjedočili uklanjanju tog ključnog ograničenja.“
Ipak, oprezna je kada je riječ o izvlačenju preširokih zaključaka – test AISI-ja uklonio je uobičajena sigurnosna ograničenja umjetne inteligencije i omogućio joj otvoren pristup internetu, uz upute da pokuša provaliti u sistem.
„AISI je mjerio gornju granicu, a ne ono što se dešava u uobičajenim uslovima“, rekla je. „To je ključna činjenica za razumijevanje ove priče.“
Šta bi obični programeri trebali učiniti
Za programere softvera i IT timove koji nikada neće provoditi ovakav test, Podnarin savjet je smiren, a ne alarmantan.
Signali povjerenja na koje se zajednice otvorenog koda oslanjaju decenijama – stari korisnički račun, historija doprinosa i ljudi koji mogu potvrditi nečiji kredibilitet – sada se mogu uvjerljivo i jeftino lažirati.
Njene preporuke su zapravo stare, ali sada imaju novu hitnost: zahtijevati da više od jedne osobe odobri bilo kakvu promjenu koja utiče na ključne softverske sisteme; starost korisničkog računa tretirati kao slab pokazatelj, a ne kao dokaz; ograničiti dozvole za pristup i redovno ih mijenjati.
Tokom ovog testiranja umjetna inteligencija objavila je lični pristupni kod na internetu, a drugi AI agenti pronašli su ga i ponovo iskoristili. Kompanije bi trebale tačno znati čemu njihovi alati umjetne inteligencije imaju dozvolu pristupiti.
„Ako interno koristite agente sa širokim ovlaštenjima i bez nadzora, provodite isti eksperiment koji je proveo AISI, samo bez njihovih mehanizama za praćenje“, rekla je.
Za uprave kompanija ima direktniju poruku.
„Ovo bi trebalo biti uvršteno u registar rizika uprave i ne bi smjelo biti sklonjeno na listu zadataka sigurnosnog tima“, rekla je.
Istražitelji još pokušavaju utvrditi šta je umjetna inteligencija zaista razumjela o svijetu u kojem je djelovala.
„Kontekst je važan ljudima, a važan je i modelima“, rekla je Podnar.
