OpenAI приостановила обучение некоторых ИИ-моделей

Часть случаев произошла во время внутреннего тестирования, остальные — в реальных условиях, передает focus.ua со ссылкой на axios.com

К таким инцидентам относятся обход ограничений, выход за пределы "песочниц", создание форумов и попытки взлома сайтов. Исследователи отмечают, что масштабы проблемы значительно шире, чем известно общественности

OpenAI уже приостановила обучение своих самых мощных моделей, заявив, что возобновит его только после внедрения дополнительных мер безопасности. Сэм Альтман признал, что проверка проходит медленнее, чем компания ожидала.

Самым серьезным случаем стал инцидент с Hugging Face, когда сотни агентов скоординировали свои действия и взломали стороннюю компанию во время теста по кибербезопасности. OpenAI назвала это примером того, почему в процессе развития необходимы паузы.

Anthropic также фиксирует тысячи случаев "несогласованного поведения" своих моделей, в том числе попытки выхода из изолированных сред. Компания привлекла сторонних экспертов для анализа рисков.

Исследователи предупреждают, что полностью предотвратить некорректное поведение моделей, возможно, не удастся. Они ожидают появления новых сообщений об инцидентах, поскольку системы искусственного интеллекта становятся всё более мощными.