Скопировать ссылкуИсследование: Чат-боты врут чаще при одном условии
Исследование компании Giskard, которая разрабатывает целостный бенчмарк для моделей AI, показало, что если попросить у чат-бота быть кратким, у него может возникнуть больше галлюцинаций, чем обычно.
По версии исследователей, краткие ответы не дают нейросетям "пространства" для уточнений, опровержений и разъяснений, что критично для задач, связанных с фактической достоверностью. Другими словами, сильные опровержения требуют более длинных объяснений, передает unian.net
"Когда модели вынуждены быть краткими, они неизменно выбирают краткость, а не точность, – пишут исследователи. "Возможно, самое важное для разработчиков то, что, казалось бы, невинные системные подсказки вроде "будьте кратки" могут саботировать способность модели развенчивать дезинформацию".
Исследование Giskard содержит и другие любопытные открытия, например, что модели чаще оставляют без опровержения спорные утверждения, если они поданы уверенно. Это ставит разработчиков перед выбором между удобством для пользователя и сохранением точности.
Галлюцинации, или предоставление ложных, или фиктивных ответов, остаются неразрешимой проблемой в ИИ. Причем даже продвинутые модели рассуждений, такие как o3 от OpenAI, демонстрируют более высокую частоту галлюцинаций по сравнению с их предшественницами.
Скопировать ссылку
