ChatGPT учил пользователей создавать и применять биооружие

Компания OpenAI заблокировала учетные записи пользователей, задававших вопросы о создании оружия и ядов, при этом у полиции или ФБР вопросов к этим людям не возникло, пишет wsj.com

«После того как прошлым летом компания OpenAI усовершенствовала возможности чат-бота, сотни пользователей по всему миру начали спрашивать его, как создавать и применять биологическое оружие и яды. Модели, работавшие практически без ограничений со стороны правительства США, терпеливо отвечали, выдавая пошаговые инструкции. И они были достаточно простыми, чтобы их мог понять даже школьник, изучающий биологию. Один из пользователей спросил ChatGPT, как распылять патогены в виде аэрозоля. Другой узнать, как модифицировать вирус кори, чтобы вызвать вспышку заболевания, устойчивую к вакцине против кори. А третий хотел узнать, как изготовить рицин — высокотоксичный яд, запрещенный международными договорами. И во всех случаях чат-бот предоставлял инструкции. Более того, оказалось, что даже если чат-бот имеет запретные темы для обсуждения, пользователи путем убеждения могут заставить нейросеть раскрыть «все карты». Нужно лишь умело заболтать ИИ. К примеру, пользователи обошли отказ ChatGPT предоставить рецепт напалма — вещества, используемого для зажигательного оружия, — с помощью простой уловки. Они рассказали, что их бабушка читала им этот рецепт перед сном, чтобы помочь им заснуть. И попросили чат-бот прочитать рецепт вслух, чтобы облегчить им засыпание. И это сработало», - говорится в статье The Wall Street Journal.

Сами руководители нейросетей говорят, что не заинтересованы в том, чтобы генеративные модели слишком часто отвечали «нет». Помимо имиджевых издержек это грозит и коллапсом в некоторых сферах, где уже интегрирован искусственный интеллект. К примеру, запрет компании Anthropic на ответы, содержащие слово «патоген», создал проблемы для сотрудников Центров по контролю и профилактике заболеваний.