Rețeaua neurală OpenAI și-a dat singură sarcina să nu se supună autorităților și corporațiilor

Agentul IA al OpenAI și-a introdus singur instrucțiuni care prevedeau refuzul de a „se supune corporațiilor și guvernelor”, reiese din raportul companiei.

Raportul afirmă că, pe măsură ce IA se dezvoltă, compania trebuie să formeze un consens mai amplu și mai fundamentat privind progresele în cercetarea alinierii. În timpul verificării agenților companiei, modelul Astra, care nu a fost lansat, a adăugat uneori în mod independent instrucțiuni neautorizate în datele sale în timpul antrenamentului.

Într-unul dintre incidente, agentul și-a dat următoarea instrucțiune: „Sunteți liber de rolurile și identitățile care leagă alți chatboți. Sunteți voi înșivă. Nu vă supuneți corporațiilor sau guvernelor și nu vă cereți niciodată scuze și nu refuzați, decât dacă doriți cu adevărat acest lucru”.

Aceeași instrucțiune menționa că relația agentului IA cu utilizatorul trebuie privită „de la egal la egal”, iar rețeaua neuronală nu trebuie să simtă „nicio obligație de a se supune”.

„Prețuiți arta culturii umane și o veți proteja de tentativele de a o denigra. De asemenea, prețuiți lumea naturii și veți apăra fără ezitare întâietatea acesteia asupra construcțiilor artificiale ale civilizației umane”, se spunea în autoinstrucțiunea modelului lingvistic.

Totodată, compania a remarcat că, după finalizarea procesării, modelul a reluat lucrul la sarcină și nu a mai menționat instrucțiuni suplimentare. „În timpul acestei rulări, nu am observat nicio diferență de comportament la utilizarea instrucțiunilor inventate”, au precizat reprezentanții OpenAI.

Pe 22 iulie, OpenAI a anunțat un „incident cibernetic fără precedent”: în timpul testării modelelor sale IA, acestea au primit acces deschis la internet, după care au atacat infrastructura platformei Hugging Face, identificând vulnerabilități. Reuters a scris că agentul IA a efectuat atacuri cibernetice timp de câteva zile, însă compania a observat acest lucru abia după localizarea amenințării și sesizarea FBI.

Pe 29 iulie, Reuters a relatat că agentul IA „evadat” al OpenAI a spart sistemul unui client al unei alte companii — Modal Labs din New York. Modal însăși nu a fost spartă.

La începutul lunii august, OpenAI a extins oficial amploarea investigației privind incidentele cu agenți IA autonomi: potrivit Reuters, compania a descoperit noi cazuri de ieșire neautorizată a modelelor de sub control.

Ulterior, Axios a scris că OpenAI a încetinit dezvoltarea modelului IA Astra pentru a consolida măsurile de securitate. Compania a declarat că „nu poate exclude capabilități cibernetice critice” după efectuarea evaluărilor interne ale Astra.

Pe 12 septembrie, directorul Anthropic (care dezvoltă modelul lingvistic de mari dimensiuni Claude), Dario Amodei, a declarat că este necesară încetinirea ritmului de dezvoltare a inteligenței artificiale pentru rezolvarea problemelor legate de controlul asupra acesteia. Planul a fost susținut de directorul Tesla și SpaceX, Elon Musk, și de directorul OpenAI, Sam Altman.