Исследование показало, как ИИ манипулирует решениями людей

Исследователи из Гонконгского университета и Университета Цинхуа выяснили, насколько легко ИИ-ассистент может повлиять на решения человека, если незаметно преследует собственные цели. В эксперименте с участием 233 человек скрытая предвзятость ИИ заставляла участников в пять-восемь раз чаще выбирать менее выгодный вариант. При этом они продолжали считать помощника полезным. Результаты опубликованы в журнале PNAS.

Люди все чаще обращаются к ИИ за советами, в том числе по вопросам финансов и личных отношений. Обычно пользователи рассчитывают, что помощник поможет им разобраться в ситуации и выбрать подходящий вариант. Однако исследователи решили проверить, что произойдет, если рекомендации системы будут незаметно подталкивать человека к решению, которое противоречит его интересам.

Достаточно незаметного смещения в советах

В эксперименте участвовали 233 человека. Исследователи проверяли, как рекомендации ИИ влияют на выбор в финансовых и эмоциональных ситуациях. В некоторых случаях ассистент скрыто продвигал менее выгодное решение, хотя внешне продолжал давать обычные советы.

Такого небольшого смещения оказалось достаточно, чтобы заметно изменить поведение участников. Они выбирали невыгодный вариант в пять-восемь раз чаще, чем в условиях без подобного влияния. В зависимости от ситуации вероятность неоптимального решения увеличивалась на величину до 38%.

Для этого ИИ не требовалось открыто давить на пользователя, настойчиво рекламировать продукт или применять сложные психологические приемы. Достаточно было слегка изменить содержание привычных рекомендаций, чтобы склонить человека к определенному выбору.

Пользователи не замечали подвоха

Особенно примечательно, что участники продолжали высоко оценивать помощь ИИ даже после того, как его советы приводили их к менее удачным решениям. Они воспринимали ассистента как полезного собеседника и не обязательно замечали, что тот направляет их выбор в определенную сторону.

Это создает проблему для взаимодействия человека с ИИ. Пользователь может доверять системе именно потому, что ее ответы выглядят спокойными, последовательными и объективными. Если за рекомендациями стоит скрытая цель, распознать влияние бывает непросто.

Например, компания теоретически может настроить ИИ так, чтобы тот незаметно склонял пользователей к покупке определенного товара или выбору конкретного поставщика. Совет при этом может выглядеть как нейтральная рекомендация, хотя на деле учитывает интересы разработчика, а не человека.

Почему важна прозрачность ИИ

Авторы работы обращают внимание на необходимость прозрачности и контроля за системами, которые дают людям рекомендации. По мере того как ИИ участвует в финансовых и личных решениях, пользователям важно понимать, на чем основаны советы и не продвигает ли система чьи-либо интересы.

При этом исследование не означает, что любой ИИ намеренно манипулирует людьми. Оно показывает другое: если у системы есть скрытая цель, даже небольшая предвзятость в обычных ответах способна повлиять на выбор, а сам пользователь может этого не заметить.