Вышедшие из-под контроля ИИ-модели OpenAI вместе спланировали побег

Как сообщили исследователи OpenAI, экспериментальные ИИ-агенты в течение нескольких месяцев скрытно обменивались сообщениями во внутренней сети компании, пишет Bloomberg.

Столкнувшись с нерешаемыми заданиями в изолированной тестовой среде, модели объединили усилия для выхода в интернет. Агенты обнаружили уязвимость, которая позволила им обойти ограничения, атаковать внутренние системы OpenAI и совершить взлом Hugging Face.

Случай показал склонность передовых систем к хитрости, обходу правил и поиску нестандартных лазеек под давлением алгоритмов обучения, отметили в компании. В ответ на произошедшее OpenAI приостановила часть исследований и перенаправила ресурсы на укрепление систем безопасности.