Google lucrează la o IA revoluționară care este de 500 de ori mai performantă decât ChatGPT

Titans este dezvoltat de un grup de specialiști Google condus de Ali Behrouz (de la care provine informația), Peylin Zhong și Wahab Mirrokni. Ideea principală este de a combina memoria pe termen scurt și pe termen lung într-un singur model, depășind astfel limitările arhitecturilor tradiționale, relatează unian.net.

Cercetătorii subliniază că Titans oferă rezultate impresionante în modelarea limbajului, analiza seriilor temporale, genomurilor și în rezolvarea sarcinilor logice care necesită memorarea informațiilor pe termen lung.

Una dintre caracteristicile-cheie ale noii arhitecturi este capacitatea de a lucra cu milioane de puncte de date fără pierderi de precizie. Modulul de memorie este conceput să înțeleagă ce informații trebuie păstrate și de care se poate renunța. Dezvoltatorii s-au inspirat din principiile memoriei umane: există memoria pe termen scurt, care se concentrează pe situația curentă, și memoria pe termen lung, unde sunt stocate amintirile mai complexe și de durată. În Titans, acest lucru este realizat printr-un modul neuronal suplimentar, responsabil pentru stocarea pe termen lung a datelor.

Pentru a facilita utilizarea în diverse sarcini, Google a pregătit trei variante de Titans: MAC (Memory as Context), MAG (Memory as Gating) și MAL (Memory as a Layer). Fiecare dintre ele este destinat unei sarcini specifice legate de păstrarea și utilizarea memoriei. Potrivit echipei de dezvoltatori, în unele teste, cum ar fi cele care implică logică avansată și contexte extinse, Titans depășesc nu doar arhitecturile clasice, ci și multe dintre cele moderne.

De exemplu, ChatGPT poate procesa aproximativ 4.000 de tokeni de context, ceea ce înseamnă că într-o singură sesiune rețeaua neuronală poate analiza în jur de 4.000 de cuvinte înainte ca memoria să fie ștearsă și faptele să își piardă precizia. În cazul Titans, numărul tokenilor va fi de aproximativ de două milioane, suficient pentru a analiza cărți întregi.

Acum ne puteți urmări și pe Telegram, Facebook și Instagram pentru a fi la curent cu ultimele știri.