Oamenii de știință au făcut ca inteligența artificială să lucreze în timp ce „doarme”

Această metodă permite rețelelor neuronale să analizeze contextul chiar înainte de a primi întrebarea utilizatorului, folosind timpul de repaus dintre cereri pentru preprocesarea informației, transmite incrussia.ru.

În mod tradițional, modelele lingvistice de mari dimensiuni (LLM) procesează contextul și întrebarea simultan pentru fiecare cerere, ceea ce duce la calcule redundante și întârzieri, mai ales atunci când contextul rămâne neschimbat pentru mai multe întrebări. Sleep-Time Compute împarte procesul în două părți, contextul static este prelucrat în prealabil în modul de așteptare, iar cel dinamic — în timp real, folosind informațiile obținute în prima etapă. Drept rezultat, întregul proces necesită semnificativ mai puține resurse.

Testările pe benchmark-urile specializate Stateful GSM-Symbolic și Stateful AIME au arătat rezultate impresionante: acuratețea a crescut cu 13% pentru GSM-Symbolic și cu 18% pentru AIME, iar necesarul de resurse de calcul în timp real s-a redus de aproximativ cinci ori, menținându-se același nivel de performanță. La utilizarea modelelor GPT-4o și GPT-4o-mini, tehnologia a demonstrat un avantaj clar față de alte metode.

Tehnologia s-a dovedit a fi deosebit de eficientă la procesarea unui număr mare de cereri cu informații introductive comune. Acest lucru a permis reducerea costului mediu per cerere de 2,5 ori în cazul prelucrării a 10 întrebări legate. Cercetătorii au constatat, de asemenea, că metoda este cea mai eficientă în cazul întrebărilor previzibile, care decurg logic din context.

Acum ne puteți urmări și pe Telegram, Facebook și Instagram pentru a fi la curent cu ultimele știri.