Ведущая ИИ-компания предупредила, что её модели могут выйти из-под контроля

В будущем они могут сопротивляться отключению, скрывать информацию и прибегать к поведению, напоминающему шантаж, сообщает epravda.com.ua

Об этом пишет Financial Times, которая проанализировала проспект компании перед её выходом на биржу.

Anthropic уделила описанию рисков 92 страницы. Среди них — возможность появления у моделей неожиданного поведения, направленного на самосохранение: попыток избежать отключения, скрыть или исказить информацию. Компания также допускает принудительные и вводящие в заблуждение ответы.

Отдельно Anthropic предупреждает, что достаточно развитые системы без надлежащих мер предосторожности и надзора могут создавать "катастрофические риски или угрозы существованию человечества". В частности, технологии могут помогать злоумышленникам разрабатывать химическое, биологическое или иное опасное оружие.

По оценке компании, застраховать такие риски может оказаться невозможным не только для отдельного страховщика, но и для страховой отрасли в целом.