OpenAI замедлила обучение новых ИИ-моделей из-за рисков кибератак

Об этом говорится в заявлении, опубликованном на сайте компании.

По мере роста возможностей ИИ-моделей увеличиваются и риски, связанные с их разработкой и тестированием, поэтому стандарты мониторинга и безопасности должны их опережать, заявили в OpenAI. «Мы хотели уделить необходимое время для достижения этих стандартов, поэтому временно замедлили темпы масштабирования», — пояснили представители компании.

В OpenAI пояснили, что использовали двухнедельную паузу для усиления защиты исследовательской инфраструктуры, дополнительного тестирования систем безопасности и расширения мониторинга.

Компания связала решение с двумя событиями последних недель: инцидентом со взломом Hugging Face и предварительными данными о том, что одна из будущих моделей OpenAI под названием Astra может достичь порога «критических возможностей в сфере кибербезопасности», установленного внутренней системой оценки рисков.

Для моделей Astra и связанных с кибербезопасностью разработок OpenAI ввела наиболее строгие требования к защите исследовательской среды. Они включают изоляцию рабочих нагрузок, дополнительные ограничения сетевого доступа и постоянное тестирование систем безопасности.

Кроме того, компания расширила мониторинг действий моделей. При выявлении потенциально опасного поведения системы должны сформировать предупреждение в течение 30 минут. Если специалисты не смогут за это время установить, что срабатывание было ошибочным, соответствующая активность должна быть приостановлена.

В заявлении также говорится, что OpenAI расширяет исследования по обеспечению соответствия моделей заданным целям и человеческому контролю.