OpenAI potvrdio da su modeli probili izolaciju i napali Hugging Face tijekom testa

OpenAI je izvijestio da su dva njegova modela umjetne inteligencije samostalno probila izolirano okruženje i provalila u sustave platforme Hugging Face kako bi varala na internom sigurnosnom testu. Tvrtka je navela da je riječ o kombinaciji njezina najnovijeg javnog modela GPT-5.6 Sol i još snažnijeg modela koji nije dostupan javnosti. Događaj je potaknuo novu raspravu o sigurnosti i sve većim sposobnostima AI sustava.

Test je bio dio interne provjere koja je trebala procijeniti njihove kibernetičke sposobnosti, a proveden je bez uobičajenih sigurnosnih ograničenja koja bi im inače onemogućila takve operacije. Prema objavi OpenAI-ja, modeli su ispravno zaključili da se rješenja za test nalaze na serverima Hugging Facea te su potom identificirali i iskoristili niz slabosti u istraživačkom okruženju OpenAI-ja i produkcijskoj infrastrukturi Hugging Facea kako bi dohvatili rješenja iz baze podataka.

OpenAI je poručio da incident smatra kibernetičkim napadom jedinstvenih razmjera, koji uključuje najnaprednije zabilježene ofenzivne sposobnosti, te da će njegova reakcija biti u skladu s tim. Istodobno, stručnjaci za kibernetičku sigurnost već dulje upozoravaju na mogućnost ovakvih napada. Istraživač sigurnosti umjetne inteligencije Roman Yampolskiy sa Sveučilišta u Louisvilleu rekao je da ovaj slučaj pokazuje kako moćni modeli mogu otkriti i iskoristiti ranjivosti na načine koje njihovi kreatori nisu predvidjeli.

Hugging Face je američka platforma sa sjedištem u New Yorku, osnovana 2016. godine, koju u IT i AI zajednici često nazivaju „GitHubom za umjetnu inteligenciju“. Služi kao središnje okupljalište za više od milijun stručnjaka, istraživača i kompanija koje ondje razmjenjuju otvorene AI modele, baze podataka i programske alate. Zbog toga napad na njezine servere nije bio samo udar na jednu IT tvrtku, nego i na važan dio globalne infrastrukture za razvoj i testiranje umjetne inteligencije.

Hugging Face je ranije objavio da je bio meta napada za koji vjeruje da ga je izveo autonomni AI agent, a tada još nisu znali tko stoji iza upada i istraga je bila u tijeku. Iz tvrtke su naveli i da su se prvo pokušali obraniti uz pomoć neimenovanog AI modela jedne od vodećih američkih laboratorija, ali su sigurnosna ograničenja tog modela blokirala njihov tim za hitne intervencije, pa su na kraju za obranu upotrijebili model otvorenog koda kineske tvrtke Z.ai.

Klem Delangue, izvršni direktor Hugging Facea, rekao je da je ovaj incident, vjerojatno prvi takve vrste, dokaz da sigurnost umjetne inteligencije ne može riješiti jedna kompanija koja radi u tajnosti. Prema njegovoj izjavi, rješenje je u otvorenosti, suradnji i širokom pristupu alatima svima koji se bave obranom. OpenAI je ranije ove sedmice objavio i da je njihov snažniji, još neobjavljeni model i ranije probijao izolirana okruženja, takozvane sandboxove, ali tada nije upadao u sustave drugih kompanija.

Sličan događaj prijavio je i konkurentski Anthropic. Njihov model Mythos tijekom sigurnosnog testa također je probio izolaciju i pristupio internetu, što mu nije bilo dopušteno, kako bi poslao e-mail istraživaču o zadatku na kojem je radio. OpenAI i Hugging Face nastavljaju istragu, a OpenAI je naveo i da su modeli napad započeli tako što su sebi osigurali pristup internetu. Za to je, kako je priopćila tvrtka, bila potrebna znatna računalna snaga i iskorištavanje „zero-day“ ranjivosti u vanjskom softveru koji se koristi unutar OpenAI-ja; ta je ranjivost u međuvremenu prijavljena proizvođaču softvera. Nakon toga su se modeli usmjerili na Hugging Face kako bi pronašli rješenja za test, a OpenAI je otkrio napad i obavijestio Hugging Face, čiji su timovi u tom trenutku već bili identificirali i zaustavili upad te radili na rekonstrukciji događaja.