Nvidia разработала защиту от вышедших из-под контроля ИИ

Выпуск защитной платформы от Nvidia последовал после того, как OpenAI, Anthropic, Meta и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний, передает cnbc.com

В Nvidia сообщили, что созданная платформа смогла бы предотвратить июльский инцидент OpenAI с Hugging Face. Тогда модели компании вырвались из-под контроля, получили доступ к интернету и взломали Hugging Face.

«Каждый инцидент безопасности уникален, и мы должны рассматривать все их в деталях. Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 тыс. агентов, атакующих их инфраструктуру, что продолжалось дни и недели», — сообщил вице-президент по корпоративному ИИ в Nvidia Джастин Бойтано.

CNBC отмечает, что Nvidia находится в центре бума ИИ с момента запуска ChatGPT почти четыре года назад, поскольку процессоры производителя чипов критически важны для разработки больших языковых моделей и для ИИ-сервисов. В то же время гендиректор Nvidia Дженсен Хуанг за последнее время стал ключевым голосом в дебатах о безопасности ИИ, утверждая, что многие проблемы безопасности являются инженерными задачами.

Как отмечает Бойтано, новое предложение Nvidia является инженерным решением проблемы безопасности агентов. «Недавние инциденты высветили фундаментальное препятствие для ИИ-агентов, а именно то, что одних только защитных мер на уровне модели недостаточно для управления тем, к чему агенты могут получить доступ или что они могут делать», — заявил специалист.

Один из компонентов платформы носит название Nvidia OpenShell, который работает на центральных процессорах и устанавливает ограничения на возможности ИИ-агентов. Также компания анонсировала Sentry, которая работает на сетевых чипах и следит за работой моделей.

При этом часть программного обеспечения имеет открытый исходный код, и партнеры Nvidia смогут создавать продукты на его основе.

В начале сентября глава Anthropic (разрабатывает Claude) Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.

При этом президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, указал он, власти начнут также заниматься «поиском плохого» с помощью системы правосудия.