Чат-боты работают лучше, если вы обращаетесь к ним этим конкретным способом

Как разговаривать с искусственным интеллектом?

Многие пользователи склонны общаться с искусственным интеллектом в неформальной, сокращенной манере, как будто пишут сообщение другу. Однако такой подход может ухудшать качество ответов, которые генерирует система. Исследователи из Amazon Фулей Чжан и Чжоу Ю решили выяснить, действительно ли существует разница в стилях общения людей с чат-ботами и с другими людьми, и как это влияет на эффективность ИИ, пишет 24 Канал со ссылкой на New Scientist.

Смотрите также По миру распространяется жестокий пранк с искусственным интеллектом: полиция умоляет остановиться

• Ученые проанализировали разговоры с помощью языковой модели Claude 3.5 Sonnet. Результаты оказались показательными: в общении с чат-ботами люди использовали менее точную грамматику, были менее вежливыми и имели несколько ограниченный словарный запас.
• Зато диалоги между людьми были на 14,5% вежливее и формальнее, на 5,3% более грамотными и на 1,4% богаче лексически, чем разговоры с ИИ.

Исследователи предположили, что пользователи подсознательно адаптируют свой стиль, поскольку воспринимают чат-ботов как менее социально осведомленные системы, неспособные понять сложные нюансы языка.

Однако такой неформальный подход имеет свои недостатки. Дело в том, что современные языковые модели, лежащие в основе чат-ботов, обычно учатся на огромных массивах данных, которые включают тексты из интернета и записи разговоров между людьми. Это формирует у них определенную модель "идеального" общения. Поэтому когда дело доходит до реального взаимодействия, ИИ получает то, что ему незнакомо, ведь пользователи склонны адаптировать свою речь, исходя из того, кто их собеседник – человек или машина.

Чтобы проверить это, команда провела следующий эксперимент. Они обучили модель искусственного интеллекта Mistral 7B на 13 000 реальных диалогов между людьми, а затем попросили ее проанализировать 1 357 сообщений, адресованных чат-ботам. Поскольку модель была натренирована на формальном, "человеческом" общении, ей было трудно корректно определить намерения пользователей в коротких, отрывочных запросах к ИИ, говорится в исследовании, опубликованном в arXiv.

Исследователи проанализировали сообщения пользователей по шести лингвистическим критериям: грамматическая правильность, вежливость/формальность, лексическое разнообразие, информативность, четкость и эмоциональная насыщенность. Оказалось, что при обращении к чат-ботам речь людей становится:

• Менее грамматически правильной – показатель снизился на 5,3%.
• Менее вежливой и формальной – разница составила 14,5%.
• Менее лексически разнообразной – на 1,4%.

При этом такие аспекты, как информативность, четкость изложения и эмоциональность, оставались практически неизменными. Это означает, что пользователи, обращаясь к ИИ, становятся более прямыми, используют более простые слова и конструкции, не беспокоясь о формальностях. Такое изменение стиля создает проблему для моделей, которые были обучены на более "отполированных" данных человеческого общения.

Далее ученые попробовали несколько методов для улучшения понимания модели. Они протестировали два подхода. Первый заключался в расширении учебных данных. С помощью другого ИИ (Claude) превращали короткие запросы пользователей в более развернутые и похожие на человеческую речь, после чего дообучали на них Mistral. В общем создали два дополнительных набора сообщений:

• "Минималистичный стиль": сообщения переписали, делая их короткими, отрывочными и безграмотными, имитируя максимально прямую коммуникацию с машиной (например, "Париж следующий месяц. билеты отели?").
• "Обогащенный стиль": сообщения сделали максимально вежливыми, грамматически безупречными и с богатым словарным запасом (например, "Здравствуйте! Я планирую отпуск в Париже в следующем месяце и был бы благодарен за твою помощь с поиском лучших предложений на авиабилеты и проживание. Спасибо").

Результаты показали, что модель, обучена на комбинированном наборе данных (оригинальные сообщения + минималистичные + обогащенные), показала лучший результат – точность в определении намерений пользователя выросла на 2,9%. Зато модели, обученные исключительно на минималистическом или только на обогащенном стиле, работали хуже.

Еще один подход заключался в попытке "исправлять" запрос пользователя прямо в реальном времени, то есть в момент ведения диалога, превращая его из неформального в более формальный стиль, понятный для модели. Эта стратегия оказалась неэффективной и даже ухудшила точность на 1,9%. Исследователи предполагают, что такие исправления могут искажать тонкие смысловые оттенки в оригинальном сообщении пользователя, поскольку модель, вероятно, добавляет что-то свое, критически важное для понимания, чего не было в оригинальном сообщении.

Фактически единственный подход, который дал положительный результат, – это когда модель Mistral обучали одновременно на минимально отредактированных и "обогащенных" запросах, которые содержали более формальную и разнообразную лексику. Это позволило повысить точность распознавания намерений пользователя.

Таким образом, исследование подтверждает, что более формальный и детализированный стиль общения помогает чат-ботам лучше понимать запросы и предоставлять более точные ответы. Если вы ожидаете от искусственного интеллекта понимания, тогда вам придется писать грамотно, развернуто, с деталями и формальностями, вроде "пожалуйста" или "спасибо".