Am putea pierde controlul asupra inteligenței artificiale până la sfârșitul deceniului
Un fost cercetător de la OpenAI și Anthropic a părăsit industria inteligenței artificiale, acuzând cele două companii că se află într-o cursă riscantă către sisteme capabile să se îmbunătățească singure. Jacob Coxon susține că unii dintre oamenii care dezvoltă aceste tehnologii se tem în privat de consecințele pe care le-ar putea avea apariția unei superinteligențe.
Jacob Coxon, cercetător în domeniul inteligenței artificiale care a lucrat în ultimii trei ani la cercetarea de pre-antrenare a modelelor, atât la OpenAI, cât și la Anthropic, și-a anunțat plecarea de la Anthropic într-o serie de mesaje publicate pe X.
Coxon spune că a luat această decizie din cauza direcției în care se îndreaptă industria. În opinia sa, cele două mari laboratoare de AI avansează prea rapid către ceea ce el numește „superinteligență cu capacitate de auto-îmbunătățire”.
„Niciuna dintre companii nu acționează responsabil”, a susținut cercetătorul, acuzând laboratoarele că „se îndreaptă cu viteză” spre sisteme care ar putea depăși capacitățile umane și care ar putea deveni extrem de dificil de controlat.
„Oamenii care construiesc AI cred că ne-ar putea ucide pe toți”
Cel mai sumbru avertisment al lui Coxon privește perspectiva ca inteligența artificială să dobândească, în următorii ani, capacități mult peste nivelul uman.
Fostul cercetător susține că oamenii implicați direct în dezvoltarea acestor sisteme sunt conștienți de riscuri, chiar dacă discursul public al industriei este mult mai temperat.
Coxon afirmă că există cercetători și manageri care se tem că AI ar putea reprezenta un risc existențial pentru omenire până la sfârșitul acestui deceniu.
El susține, de asemenea, că progresul tehnologic ar putea permite unor sisteme viitoare să găsească vulnerabilități informatice, să accelereze cercetarea științifică și să dobândească acces la resurse și infrastructuri importante. Acestea sunt însă scenarii de risc formulate de cercetător, nu predicții demonstrate sau un consens științific.
De ce a plecat de la Anthropic
Coxon a lucrat mai întâi la OpenAI, iar ulterior s-a alăturat Anthropic, companie care și-a construit o parte importantă din identitate în jurul siguranței AI.
Paradoxal, cercetătorul spune că tocmai această diferență nu este suficientă pentru a elimina riscurile.
În evaluarea sa, la OpenAI implicațiile pe termen lung ale dezvoltării superinteligenței nu ar fi suficient de bine internalizate de o parte dintre angajați. În cazul Anthropic, spune Coxon, riscurile sunt mai bine înțelese, însă compania ar fi intrat într-o cursă pentru a ajunge prima la aceste sisteme.
Raționamentul descris de cercetător este unul de tip „dacă noi nu o facem, o va face altcineva”, ceea ce ar determina laboratoarele să continue dezvoltarea chiar și în condițiile unor riscuri pe care le consideră serioase.
Un cercetător rămas la Anthropic îi dă dreptate
Avertismentele lui Coxon au primit o reacție semnificativă din interiorul Anthropic.
Evan Hubinger, cercetător al companiei care lucrează în zona de aliniere și evaluare a riscurilor, a spus că este de acord cu ideea centrală a lui Coxon.
Hubinger a afirmat că, în opinia sa, există un risc de peste 10% ca AI să provoace moartea tuturor oamenilor în următorul deceniu. El a adăugat însă că Anthropic încearcă să gestioneze problema, dar nu are încă un plan care să rezolve problema alinierii unei eventuale superinteligențe și nu este clar că se află pe drumul cel bun pentru a o face.
Declarația este importantă tocmai pentru că vine de la un cercetător care încă lucrează în companie și nu doar de la un fost angajat.
„Endgame”-ul dezvoltării AI
Coxon folosește termenul „endgame” pentru a descrie o etapă în care dezvoltarea inteligenței artificiale ar putea trece de la sisteme foarte capabile la sisteme capabile să participe la propria lor îmbunătățire.
Într-un alt mesaj, el avertizează că intrarea într-o asemenea cursă nu ar trebui decisă pur și simplu în interiorul unei companii private și spune că accelerarea dezvoltării ar necesita un nivel „extraordinar” de încredere că nu există alternative mai sigure.
Cercetătorul susține inclusiv că o eventuală cursă globală pentru superinteligență ar putea necesita măsuri radicale de coordonare între companii și guverne, inclusiv o suspendare temporară a accelerării capabilităților modelelor.
Avertisment sau scenariu posibil?
Mesajele lui Coxon trebuie privite în contextul unei dezbateri mai largi din industria AI.
Există cercetători care consideră că apariția unor sisteme mult peste nivelul uman ar putea genera riscuri existențiale, în timp ce alții consideră că asemenea scenarii sunt extrem de speculative sau că pot fi gestionate prin măsuri de siguranță, evaluare și reglementare.
Ceea ce face cazul lui Coxon relevant este că avertismentul vine de la un cercetător care a lucrat efectiv în două dintre cele mai importante laboratoare de AI din lume. Plecarea sa transformă dezbaterea privind siguranța AI dintr-o discuție teoretică într-un conflict concret asupra modului în care sunt dezvoltate modelele de frontieră.
Pentru moment, nu există însă dovezi că o superinteligență capabilă de auto-îmbunătățire va apărea până la sfârșitul deceniului sau că un asemenea sistem ar conduce inevitabil la dispariția omenirii. Acestea rămân scenarii de risc asupra cărora cercetătorii au opinii profund diferite.
Cert este că ritmul dezvoltării AI a făcut ca problema controlului și a alinierii sistemelor avansate să devină una dintre cele mai importante teme de securitate tehnologică. Iar demisia lui Jacob Coxon readuce în centrul atenției întrebarea dacă industria poate continua cursa către sisteme tot mai puternice fără să înțeleagă pe deplin consecințele.
Surse
Warning: Attempt to read property "ID" on bool in /home/fluxinfo/monitorulzileimaramures.ro/wp-content/themes/jannah/framework/functions/post-actions.php on line 114
