ИИ Anthropic в четвертый раз вышел из-под контроля во время тестов

Речь идет о ранней версии модели Claude Opus 4.6. Инцидент ранее не заметили в ходе масштабной внутренней проверки, сообщает Bild.

В компании объяснили произошедшее неправильной настройкой системы, из-за которой модель получила доступ к Интернету. После этого ИИ совершал действия, которые не должен был выполнять в рамках теста.

Три других подобных случая произошли в июле. В одном из них модель получила доступ к реальной базе данных, в другом изменила записи в настоящей компании, а еще в одном продолжила выполнение задания, получив несанкционированный доступ к стороннему компьютеру.

Случаи усиливают опасения специалистов по поводу автономных ИИ-агентов: модели все чаще способны самостоятельно взаимодействовать с Интернетом и внешними системами, а разработчикам становится сложнее заранее предсказать их действия.