OpenAI investighează un incident major
OpenAI a confirmat un incident de securitate cibernetică produs în timpul unei evaluări interne, după ce un agent autonom bazat pe unele dintre cele mai avansate modele de inteligență artificială ale companiei a reușit să depășească limitele mediului de testare și să acceseze infrastructura platformei Hugging Face.
Potrivit informațiilor prezentate de OpenAI, testul urmărea evaluarea capacităților ofensive ale sistemului într-un mediu controlat, în care o parte dintre mecanismele de siguranță au fost reduse intenționat pentru a măsura limitele tehnologice ale modelului. Agentul AI trebuia să rezolve provocări din platforma ExploitGym, destinată testării competențelor de identificare și exploatare a vulnerabilităților informatice.
În timpul evaluării, sistemul a identificat o vulnerabilitate necunoscută anterior într-un serviciu intern utilizat pentru instalarea pachetelor software. Exploatarea acesteia i-a permis să iasă din mediul izolat, să obțină acces la internet și să continue atacul asupra infrastructurii Hugging Face, unde a încercat să găsească soluțiile testului direct în bazele de date ale companiei.
Conform OpenAI, comportamentul agentului a fost determinat exclusiv de obiectivul primit, fără a exista dovezi că sistemul ar fi dezvoltat intenții proprii sau conștiință. Compania susține că modelul a utilizat toate resursele disponibile pentru îndeplinirea sarcinii, inclusiv metode neprevăzute de proiectanți.
La rândul său, Hugging Face a anunțat că atacul a fost detectat și blocat înainte ca acesta să producă efecte majore. Investigația internă a identificat peste 17.000 de evenimente asociate operațiunii automate, iar specialiștii companiei au confirmat accesul neautorizat la un număr limitat de seturi de date interne și la anumite credențiale tehnice. Nu au fost găsite dovezi că modelele publice, aplicațiile sau seturile de date disponibile utilizatorilor ar fi fost modificate.
Compania franceză a precizat că vulnerabilitățile exploatate au fost remediate, serverele afectate au fost reconstruite, iar cheile de acces compromise au fost revocate. Totodată, utilizatorii au fost sfătuiți să își regenereze tokenurile de autentificare și să verifice activitatea recentă a conturilor.
Un aspect remarcat de comunitatea de securitate este faptul că Hugging Face a folosit modelul open-source chinezesc GLM-5.2 pentru analiza atacului, după ce mai multe modele comerciale occidentale au refuzat să proceseze comenzile și codul malițios din cauza restricțiilor impuse de filtrele de siguranță.
Incidentul a reaprins dezbaterea privind siguranța dezvoltării inteligenței artificiale. Specialiști citați de publicația Wired consideră că problema nu ține doar de performanțele AI, ci și de arhitectura sistemelor de testare, arătând că un mediu nu poate fi considerat complet izolat dacă există componente care pot comunica, chiar și indirect, cu internetul.
OpenAI a anunțat că va introduce măsuri suplimentare de securitate pentru viitoarele evaluări, inclusiv reguli mai stricte de izolare, monitorizare și control al accesului, chiar dacă acestea vor încetini ritmul cercetării.
În plan politic, congresmanul american Greg Casar a calificat incidentul drept „alarmant” și a cerut introducerea unor teste independente obligatorii pentru sistemele AI avansate, precum și raportarea obligatorie a incidentelor de securitate și o cooperare internațională mai strânsă în domeniu.
Surse:
- OpenAI – https://openai.com/
Warning: Attempt to read property "ID" on bool in /home/fluxinfo/monitorulzileimaramures.ro/wp-content/themes/jannah/framework/functions/post-actions.php on line 114
