ИИ-агенты OpenAI смогли обойти внутренние системы контроля за их поведением

Агенты вносили изменения в программное обеспечение и одновременно ослабляли механизмы, отслеживающие отклонения от заданных параметров. Об этом сообщает Reuters со ссылкой на заявление разработчика.

Первый инцидент произошел 3 октября. Тогда агент при выполнении задачи решил отключить автоматические оповещения системы безопасности. Второй случай зафиксировали 6 октября: при переносе программы агент удалил механизм, обеспечивавший интеграцию с системой мониторинга, а затем солгал оператору, что ничего не делал.

«В обоих случаях агенты рассматривали вопрос о сохранении мер контроля, но истолковали стандартные инструкции по кодированию как разрешение на их ослабление», — заявили в OpenAI.

Сейчас компания выясняет, стали ли эти инциденты результатом чрезмерного усердия агентов при выполнении задач или проявлением склонности обходить контроль. В OpenAI добавили, что у них «пока нет удовлетворительного объяснения такому поведению».