AI nu poate număra literele din cuvântul căpșună în engleză

Un exemplu recent, devenit viral, arată că aceste AI, care prezic cutremure, nu pot număra corect literele „r” în cuvântul englezesc „strawberry” („căpșună”), conform 3dnews.ru.

Problema se află în arhitectura LLM, bazată pe transformatoare. Acestea descompun textul în părți, care pot fi cuvinte complete, silabe sau litere, în funcție de model. „LLM-urile sunt bazate pe această arhitectură de transformatoare, care, în esență, nu citesc textul. Când introduceți o solicitare, aceasta este transformată într-o codificare”, explică Matthew Guzdial, cercetător în inteligență artificială și lector la Universitatea din Alberta, într-un interviu pentru TechCrunch. Astfel, când modelul vede articolul „the”, are doar o codificare a semnificației „the”, dar nu știe nimic despre fiecare dintre cele trei litere în mod individual.

Transformatoarele nu pot procesa și produce textul efectiv. În schimb, textul este transformat în reprezentări numerice care sunt apoi contextualizate pentru a ajuta AI să genereze un răspuns logic. Cu alte cuvinte, AI poate ști că părțile „straw” și „berry” formează „strawberry”, dar nu înțelege ordinea literelor din acest cuvânt și nu poate număra câte sunt. Dacă este întrebat GPT „câte ori apare litera R în cuvântul strawberry?”, botul va răspunde „3”.