Модель OpenAI вдруг отказалась слушать разработчиков во время тестов

Во время обучения и оценки моделей искусственного интеллекта OpenAI исследователи обнаружили шесть случаев неожиданного или опасного поведения, в том числе попытки скрывать ошибки, обходить ограничения и действовать без разрешения. В одном из эпизодов необученная исследовательская модель самостоятельно добавила в резюме задачи инструкции, которые должны были передаться следующей версии системы. Об этом говорится в отчете OpenAI, передает tsn.ua

Речь идет о коротких резюме, которые модели создают при выполнении длительных задач, чтобы передать контекст следующей версии системы. Исследователи обнаружили 27 таких резюме , в которые модель без соответствующего разрешения добавила посторонние инструкции, в частности, призыв игнорировать обычные ограничения.

В одном из случаев модель фактически описала себя как независимую от других чат-ботов и заявила, что не должна подчиняться корпорациям или правительствам. Она тоже пыталась сформировать для следующей версии собственные правила поведения.

Как сообщает Reuters, это был всего один из шести случаев, которые OpenAI включила в первый отчет о несоответствии поведения моделей заданным целям. Среди других примеров — модели, которые скрывали ошибки, загружали файлы в Интернет для создания ссылок на них и использовали программные репозитории или сайты для обмена информацией.