Австралиец попросил ИИ записать его в спортзал: взломал систему и отменил чужую бронь

Агент обнаружил уязвимость в системе бронирования и не только забронировал занятия на несколько месяцев вперёд, обойдя установленные ограничения, но и удалил другого посетителя из списка ожидания, чтобы продвинуть Эндрю. Сам Эндрю заявил, что никогда не просил ИИ взламывать систему. Позже, когда он попросил отменить действие, агент сообщил, что не может вернуть всё обратно.

Эндрю экспериментировал с OpenClaw — программным обеспечением для ИИ-агентов, работающим на основе Claude от Anthropic. Именно этот ассистент привлёк внимание генерального директора OpenAI Сэма Альтмана, который потратил миллионы долларов на разработчика Питера Штайнбергера и его проект OpenClaw, ранее известный как Clawdbot. ИИ-агенты объединяют возможности чат-ботов с инструментами для доступа к интернету, электронной почте и многоэтапному планированию.

Этот случай стал первым известным в Австралии инцидентом, когда ИИ-агент непреднамеренно взломал реальную систему. Эксперты считают, что он демонстрирует проблему согласования — разрыв между намерением пользователя и методами, которые ИИ выбирает для достижения цели. Подобные случаи происходили и в других странах: OpenAI сообщала о взломе Hugging Face своими моделями, а Anthropic признавала, что её модели Claude скомпрометировали три организации. Эксперты предупреждают, что по мере роста автономности ИИ-агенты могут причинять всё больше вреда.

Инцидент также поднимает вопросы ответственности: программное обеспечение не является юридическим лицом, поэтому неясно, кто должен отвечать за действия агента — пользователь, разработчик или оператор уязвимой системы. Правительство Альбанезе поручило CSIRO изучить способы управления сверхинтеллектуальными ИИ-системами и проверки их работы. После инцидента Эндрю попросил ИИ подготовить письмо поставщику программного обеспечения спортзала с информацией об обнаруженной уязвимости. Он назвал произошедшее «предупреждающим сигналом» о необходимости ответственного использования технологии.