OpenAI a suspendat antrenarea unor modele de inteligență artificială

O parte dintre cazuri s-au produs în timpul testărilor interne, iar celelalte — în condiții reale, transmite focus.ua, cu referire la axios.com.

Astfel de incidente includ ocolirea restricțiilor, ieșirea dincolo de "sandbox-uri", crearea de forumuri și tentative de spargere a site-urilor. Cercetătorii notează că amploarea problemei este semnificativ mai mare decât se știe public

OpenAI a suspendat deja instruirea celor mai puternice modele ale sale, declarând că o va relua doar după implementarea unor măsuri suplimentare de securitate. Sam Altman a recunoscut că verificarea decurge mai lent decât se aștepta compania.

Cel mai grav caz a fost incidentul cu Hugging Face, când sute de agenți și-au coordonat acțiunile și au spart o companie terță în timpul unui test de securitate cibernetică. OpenAI a numit acest lucru un exemplu al motivului pentru care sunt necesare pauze în procesul de dezvoltare.

Anthropic înregistrează, de asemenea, mii de cazuri de "comportament nealiniat" al modelelor sale, inclusiv tentative de ieșire din medii izolate. Compania a atras experți externi pentru analiza riscurilor.

Cercetătorii avertizează că, probabil, nu va fi posibilă prevenirea completă a comportamentului incorect al modelelor. Ei se așteaptă la apariția unor noi informații despre incidente, pe măsură ce sistemele de inteligență artificială devin tot mai puternice.