Motorul de căutare AI Overviews de la Google comite milioane de erori zilnic

Instrumentul Gemini, bazat pe inteligență artificială, demonstrează o precizie de aproximativ 90%. Totuși, chiar și un procent relativ mic de erori, la scară largă a traficului de căutare, se transformă în zeci de milioane de răspunsuri incorecte zilnic, transmite nytimes.com.

Pentru evaluarea calității funcționării „Modului AI” a fost folosit benchmark-ul SimpleQA de la OpenAI, care include peste 4.000 de întrebări cu răspunsuri verificabile, precum și propriile instrumente de analiză Oumi. Potrivit testelor, utilizând modelul Gemini 2.5, precizia era de aproximativ 85%, în timp ce după trecerea la Gemini 3, indicatorul a crescut la 91%.

În cadrul cercetării au fost identificate cazuri de agregare incorectă a informațiilor din surse. Într-unul dintre exemple, sistemul a determinat greșit data transformării casei lui Bob Marley în muzeu, în ciuda existenței datelor corecte în sursele originale, ceea ce indică probleme cu interpretarea și selecția faptelor.

Google a contestat concluziile studiului. Reprezentantul companiei, Ned Adrians, a declarat că benchmark-ul SimpleQA utilizat poate conține erori și nu reflectă scenariile reale ale utilizatorilor. Potrivit lui, o metrică mai relevantă este testul SimpleQA Verified, cu un set mai mic, dar atent verificat de întrebări. În plus, compania consideră că metodologia cercetării nu ia în calcul specificul cererilor reale de căutare.

Acum ne puteți urmări și pe Telegram, Facebook și Instagram pentru a fi la curent cu ultimele știri.