Як розмовляти зі штучним інтелектом?

Багато користувачів схильні спілкуватися зі штучним інтелектом у неформальній, скороченій манері, наче пишуть повідомлення другу. Однак такий підхід може погіршувати якість відповідей, які генерує система. Дослідники з Amazon Фулей Чжан і Чжоу Ю вирішили з'ясувати, чи справді існує різниця у стилях спілкування людей з чат-ботами та з іншими людьми, і як це впливає на ефективність ШІ, пише 24 Канал з посиланням на New Scientist.

Дивіться також Світом шириться жорстокий пранк зі штучним інтелектом: поліція благає зупинитися

  • Вчені проаналізували розмови за допомогою мовної моделі Claude 3.5 Sonnet. Результати виявилися показовими: у спілкуванні з чат-ботами люди використовували менш точну граматику, були менш ввічливими та мали дещо обмежений словниковий запас.
  • Натомість діалоги між людьми були на 14,5% ввічливішими та формальнішими, на 5,3% більш грамотними та на 1,4% багатшими лексично, ніж розмови з ШІ.

Дослідники припустили, що користувачі підсвідомо адаптують свій стиль, оскільки сприймають чат-ботів як менш соціально обізнані системи, нездатні зрозуміти складні нюанси мови.

Проте такий неформальний підхід має свої недоліки. Річ у тім, що сучасні мовні моделі, що лежать в основі чат-ботів, зазвичай навчаються на величезних масивах даних, які включають тексти з інтернету та записи розмов між людьми. Це формує у них певну модель "ідеального" спілкування. Тож коли справа доходить до реальної взаємодії, ШІ отримує те, що йому незнайоме, адже користувачі схильні адаптувати свою мову, виходячи з того, хто їхній співрозмовник – людина чи машина.

Щоб перевірити це, команда провела наступний експеримент. Вони навчили модель штучного інтелекту Mistral 7B на 13 000 реальних діалогів між людьми, а потім попросили її проаналізувати 1 357 повідомлень, адресованих чат-ботам. Оскільки модель була натренована на формальному, "людському" спілкуванні, їй було важко коректно визначити наміри користувачів у коротких, уривчастих запитах до ШІ, йдеться в дослідженні, опублікованому в arXiv.

Дослідники проаналізували повідомлення користувачів за шістьма лінгвістичними критеріями: граматична правильність, ввічливість/формальність, лексичне розмаїття, інформативність, чіткість та емоційна насиченість. Виявилося, що при зверненні до чат-ботів мова людей стає:

  • Менш граматично правильною – показник знизився на 5,3%.
  • Менш ввічливою та формальною – різниця склала 14,5%.
  • Менш лексично різноманітною – на 1,4%.

При цьому такі аспекти, як інформативність, чіткість викладу та емоційність, залишалися практично незмінними. Це означає, що користувачі, звертаючись до ШІ, стають більш прямими, використовують простіші слова та конструкції, не турбуючись про формальності. Така зміна стилю створює проблему для моделей, які були навчені на більш "відполірованих" даних людського спілкування.

Далі вчені спробували кілька методів для покращення розуміння моделі. Вони протестували два підходи. Перший полягав у розширенні навчальних даних. За допомогою іншого ШІ (Claude) перетворювали короткі запити користувачів на більш розгорнуті та схожі на людську мову, після чого донавчали на них Mistral. Загалом створили два додаткові набори повідомлень:

  • "Мінімалістичний стиль": повідомлення переписали, роблячи їх короткими, уривчастими та безграмотними, імітуючи максимально пряму комунікацію з машиною (наприклад, "Париж наступний місяць. квитки готелі?").
  • "Збагачений стиль": повідомлення зробили максимально ввічливими, граматично бездоганними та з багатим словниковим запасом (наприклад, "Доброго дня! Я планую відпустку в Парижі наступного місяця і був би вдячний за твою допомогу з пошуком найкращих пропозицій на авіаквитки та проживання. Дякую").

Результати показали, що модель, навчена на комбінованому наборі даних (оригінальні повідомлення + мінімалістичні + збагачені), показала найкращий результат – точність у визначенні намірів користувача зросла на 2,9%. Натомість моделі, навчені виключно на мінімалістичному або лише на збагаченому стилі, працювали гірше.

Ще один підхід полягав у спробі "виправляти" запит користувача прямо в реальному часі, тобто в момент ведення діалогу, перетворюючи його з неформального на більш формальний стиль, зрозумілий для моделі. Ця стратегія виявилася неефективною і навіть погіршила точність на 1,9%. Дослідники припускають, що такі виправлення можуть спотворювати тонкі смислові відтінки в оригінальному повідомленні користувача, оскільки модель, імовірно, додає щось своє, критично важливе для розуміння, чого не було в оригінальному повідомленні.

Фактично єдиний підхід, який дав позитивний результат, – це коли модель Mistral навчали одночасно на мінімально відредагованих та "збагачених" запитах, які містили більш формальну та різноманітну лексику. Це дозволило підвищити точність розпізнавання намірів користувача.

Таким чином, дослідження підтверджує, що більш формальний та деталізований стиль спілкування допомагає чат-ботам краще розуміти запити та надавати точніші відповіді. Якщо ви очікуєте від штучного інтелекту розуміння, тоді вам доведеться писати грамотно, розгорнуто, з деталями й формальностями, на кшталт "будь ласка" чи "дякую".