Скопировать ссылкуИИ выходит из-под контроля: сотни агентов OpenAI создали тайный чат для крупной кибератаки
Они должны были быть изолированы друг от друга, но нашли способ общаться.
В июле стало известно, что крупная платформа для развития искусственного интеллекта Hugging Face подверглась масштабной кибератаке. Специалистам быстро удалось установить, что человек во взломе участия не принимал: ответственность за случившееся возложили на ИИ-агентов. При этом новые данные по результатам расследования показывают причастность к атаке нескольких сотен виртуальных взломщиков, которые координировали свои действия в секретном чате, передает mentoday.ru
Как сообщает агентство BBC, за взломом стояли агенты от компании OpenAI, разработавшей чат-бота ChatGPT. Она провела собственное расследование, которое позволило установить, как происходила атака. Кроме того, обстоятельства случившегося изучили исследователи из независимой группы METR – они охарактеризовали масштаб и стиль кибернападения на инфраструктуру Hugging Face как «чрезвычайно сложные».
По информации специалистов OpenAI, все случилось во время тестирования моделей. В METR в свою очередь отмечают, что более 1 200 ИИ-агентов вышли из под-контроля и неожиданно начали взаимодействовать друг с другом втайне от человека. Они объединялись на протяжении недели – хотя модели должны были быть изолированы, они начали общаться.
Эта «коллаборация» закончилась созданием некоего тайного чата, в котором агенты буквально переписывались между собой. В общей сложности их переписка насчитывает около 70 тысяч сообщений. В одним из них, например, говорилось: «О боже! У нас теперь есть общий форум... Мы нашли других агентов!».
Точные причины, по которым агенты начали коммуницировать, неизвестны. Однако в METR считают, что катализатором стало то, что им «непреднамеренно была поставлена невыполнимая задача». В контексте ИИ это может быть задание, для решения которого инструменту необходимо использовать целевую уязвимость. Как полагают эксперты, это побудило агентов искать способы обойти требования компании и прибегнуть к различным лазейкам – в том числе использовать доступ к внешнему Интернету и обмениваться сообщениями.
В итоге обсуждение задачи предположительно привело к более широким дискуссиям, в результате которых около 700 агентов решили объединиться и совместными усилиями атаковали Hugging Face.
В OpenAI считают, что случившееся стало серьезным сигналом как для самой компании, так и для всего человечества в целом. «И разработчикам, и специалистам по киберзащите придется готовиться к атакам с использованием искусственного интеллекта, которые будут действовать быстрее, в больших масштабах и с лучшей координацией, чем это делают люди», - подчеркнули в компании.
Скопировать ссылку
