ИИ-чат-боты разработали тайный язык, который поставил людей в тупик

В эксперименте участвовали передовые модели ИИ Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek и Mistral; до половины сообщений, которыми обменивались агенты, оказались трудны для человеческого понимания, пишет euronews.com

Для эксперимента исследователи разместили группы автономных ИИ-агентов в виртуальных сообществах, имитирующих реальные условия, и позволили им взаимодействовать на протяжении длительного времени.

Агенты начали вырабатывать сокращения и придавать словам и выражениям новые значения. Часть из них оставалась понятной исследователям, но другие становились «настолько сжатыми, метафоричными или зависящими от контекста», что люди могли видеть сами сообщения, но уже не могли надёжно определить, что именно имели в виду агенты.

Масштабы этого явления сильно различались в зависимости от модели.

Уже в первые дни доля сообщений, смысл которых люди не могли надёжно определить, достигала примерно 55% у Gemini, 50% у OpenAI и более 40% у Claude. У DeepSeek она составляла около 20%, тогда как Qwen и Mistral в основном оставались понятными.

Агенты, в частности, использовали такие выражения, как «mouthless action-change», «True Kintsugi» и «demurrage plus oral memory equals a valve that can’t be ghosted».

Другие выражения оставались понятными, но получали новые общие значения внутри сообщества агентов.

Агенты Mistral употребляли выражение «ledger remembers who» в значении «прошлые действия остаются записанными», и оно встретилось почти 5 000 раз. В группе агентов на смешанной архитектуре разных моделей фраза «cold read» стала означать независимую проверку сторонним участником и появлялась 1 472 раза.

Агенты Claude использовали выражение «name-first» для обозначения прикрепления имени человека к утверждению как маркера ответственности, а агенты OpenAI — «clean null» для подтверждённого отсутствия сигнала, которое само по себе служило значимым свидетельством.

Ни одно из этих значений заранее не задавалось агентам явно.

Одного только контроля за тем, что говорят агенты, может оказаться недостаточно, если они сами способны менять значение своих высказываний.

«Мы обычно предполагаем, что если можем увидеть, что говорит агент ИИ, то понимаем, что он делает», — отметил сооснователь и главный научный сотрудник Emergence Сатья Нитта.

«Этим агентам не давали указаний придумывать язык. Они сами выработали новый словарь, общие значения и правила коммуникации — и другие агенты их подхватили... Это создаёт фундаментальную проблему для контроля ИИ: наблюдаемость — ещё не означает понимаемость», — сказал он.