Agenții IA ai OpenAI au reușit să ocolească sistemele interne de control asupra comportamentului lor

Agenții modificau software-ul și, concomitent, slăbeau mecanismele care urmăresc abaterile de la parametrii stabiliți. Despre acest lucru relatează Reuters, citând o declarație a dezvoltatorului.

Primul incident a avut loc pe 3 octombrie. Atunci, un agent, în timpul executării unei sarcini, a decis să dezactiveze alertele automate ale sistemului de securitate. Al doilea caz a fost înregistrat pe 6 octombrie: la transferul programului, agentul a eliminat mecanismul care asigura integrarea cu sistemul de monitorizare, apoi l-a mințit pe operator că nu a făcut nimic.

„În ambele cazuri, agenții au analizat problema păstrării măsurilor de control, însă au interpretat instrucțiunile standard de codare ca pe o permisiune de a le slăbi”, au declarat reprezentanții OpenAI.

În prezent, compania stabilește dacă aceste incidente au fost rezultatul excesului de zel al agenților în îndeplinirea sarcinilor sau o manifestare a tendinței de a ocoli controlul. Reprezentanții OpenAI au adăugat că „deocamdată nu au o explicație satisfăcătoare pentru un asemenea comportament”.