Исследователи из University of California проверили, как меняется работа речевых моделей, если просить их действовать как эксперты. В тестах использовали 12 различных ролей – от программистов и математиков до писателей и модераторов безопасности – а также шесть различных моделей ИИ. Об этом пишет Digital trends.
Смотрите также ChatGPT меняет формат онлайн-шопинга: что будет с покупками в приложении
Почему ИИ в роли эксперта дает худшие ответы?
Результаты оказались неоднозначными. С одной стороны, роль эксперта заставляет модель звучать более профессионально и лучше следовать инструкциям. С другой – она хуже воспроизводит факты. Как объясняют авторы исследования, в таком режиме ИИ больше концентрируется на выполнении указаний, чем на точном поиске знаний, что и приводит к потере точности.
Чтобы решить проблему, исследователи предложили новый подход под названием PRISM – Persona Routing via Intent-based Self-Modeling. Его суть в том, что ИИ не выбирает один режим работы, а комбинирует несколько.
Когда пользователь задает вопрос, система генерирует два ответа: один в обычном режиме, другой – в роли эксперта. После этого она сравнивает результаты и выдает тот, который лучше подходит для конкретного запроса.
При этом "экспертный" ответ не исчезает. Его стиль и логика сохраняются в специальном модуле, который ИИ может использовать позже, когда это будет уместно.
Эффективность подхода проверили с помощью теста MT-Bench, оценивающего способность модели выполнять инструкции и оставаться полезной. PRISM повысил общие результаты на 1–2 балла.
Как показывает исследование Cornell University, роль эксперта хорошо показала себя в творческих задачах и вопросах безопасности. Зато в запросах, где важна точность фактов, лучшие результаты дал обычный режим без дополнительных ролей.
Исследователи планируют расширить эксперименты и усовершенствовать метод. Если подход подтвердит эффективность, он может изменить то, как пользователи формулируют запросы к ИИ.