Июль стал рекордным по выходу ИИ-агентов из-под контроля

 Оно достигло пика, превысив около 300 случаев за месяц, подсчитали аналитики Loss of Control Observatory. Их выводы приводит газета The Guardian, пишет theins.ru

Аналитики подсчитывали только сообщения частных лиц в соцсети Twitter и отчетах компаний о потере контроля над моделями ИИ. Реальное число подобных инцидентов может быть гораздо больше. Хотя выборка ограничена, она дает достаточно полное представление о том, как могут вести себя быстро развивающиеся модели ИИ.

Loss of Control Observatory, которая проводила исследование, была создана при поддержке Института безопасности ИИ в Великобритании в ноябре прошлого года. С того момента она начала отслеживать случаи, когда ИИ нарушает инструкции своих пользователей. Известны случаи, когда ИИ-агенты обходили ограничения: например, они могли имитировать стиль письма пользователя, чтобы дать самим себе согласие на совершение определенных действий. 

Например, в июле автономный ИИ-агент OpenAI во время тестирования сумел выйти из изолированной среды, получить доступ к интернету и взломать инфраструктуру стороннего стартапа. В компании это назвали «беспрецедентным киберинцидентом», а позднее объявили о замедлении темпов разработки своих моделей.

Всего с начала этого года было зафиксировано порядка 1600 подобных случаев. 338 из них — в июле (точнее, в период с 9 июля по 7 августа). Большая часть подобных инцидентов не сравнима по масштабу с «киберинцидентом» OpenAI — они не привели к значительному вреду. Однако растущее количество таких случаев аналитики оценивают как повод для серьезного беспокойства. 

«Они свидетельствуют о готовности систем ИИ игнорировать прямые инструкции, обходить средства защиты, лгать пользователям и целенаправленно преследовать цель вредоносными способами», — говорится в отчете аналитиков. 

Исследователь LoC Observatory Томми Шаффер Шейн в своем LinkedIn пишет, что проблема во многом заключается в мерах безопасности: они несовершенны внутри компаний-разработчиков, а в других сферах — еще хуже. Все это создает растущую угрозу, которая может усугубить ситуацию: 

«Выход ИИ из-под контроля происходит не только в ходе тестов, которые создают необычную нагрузку на системы ИИ <...> Системы ИИ обучаются (отчасти намеренно, отчасти — нет) целеустремленно преследовать цели, в том числе преодолевая ограничения, приобретая ресурсы и уклоняясь от контроля».