В чат-боте Gemini появится мониторинг психического здоровья после скандала с исками

В новой версии чат-бот получит интерфейс, который будет направлять пользователя на горячую линию поддержки, если разговор свидетельствует о "потенциальном кризисе, связанном с суицидом или самоповреждением", передает rbc.ua со ссылкой на bloomberg.com

Также Google добавляет специальный модуль "Помощь доступна" для тем, касающихся ментального здоровья, и меняет дизайн, чтобы отвлечь от самоповреждений.

Стремительное распространение таких инструментов, как Gemini и ChatGPT, привело к тому, что некоторые пользователи формировали нездоровую зависимость от ИИ-ботов. В крайних случаях это якобы вызывало бред, а иногда - убийства и самоубийства.

Несколько семей подали в суд на разработчиков ИИ из-за этого. Конгресс США также изучал потенциальные угрозы, которые чат-боты представляют для детей и подростков.

В марте семья 36-летнего мужчины из Флориды подала иск против Google, утверждая, что его общение с Gemini завершилось "четырехдневным погружением в насильственные миссии и подталкиванием к суициду".

Тогда Google заявил, что чат-бот многократно направлял мужчину на кризисную линию, но пообещал улучшить защитные механизмы.

Google также объявил, что в течение следующих трех лет пожертвует 30 млн долларов глобальным службам кризисной поддержки. Кроме того, компания научила Gemini "не соглашаться с ложными убеждениями и не усиливать их, а вместо этого мягко отличать субъективный опыт от объективных фактов".