Компания Google сообщила о внедрении новых инструментов в чат-бот Gemini, которые будут помогать пользователям в случаях психологического кризиса. В частности, система сможет определять признаки потенциальной опасности, связанной с суицидальными мыслями или самоповреждением, и предлагать обратиться к горячей линии поддержки. Об этом пишет Bloomberg.

Смотрите также Google тестирует приложение Gemini для компьютеров, чтобы конкурировать с ChatGPT и Claude

Как Gemini будет реагировать на кризисные ситуации?

Кроме этого, в интерфейсе появится специальный модуль с сообщением "help is available", который будет активироваться во время разговоров на тему психического здоровья. Также внесены изменения в дизайн и логику ответов, чтобы уменьшить риск подталкивания пользователей к опасному поведению.

Эти нововведения появились на фоне растущего количества судебных исков против разработчиков искусственного интеллекта, в частности таких как OpenAI. В исках утверждается, что чат-боты могут способствовать формированию навязчивых или ложных убеждений, а в отдельных случаях – приводить к трагическим последствиям.

Одним из резонансных случаев стало дело в штате Флорида, где семья 36-летнего мужчины подала иск против Google. По их словам, взаимодействие с взаимодействие с Gemini привело к многодневному ухудшению психического состояния, которое завершилось насилием и самоубийством. В ответ компания заявила, что бот неоднократно рекомендовал обратиться в кризисные службы, но пообещала усилить меры безопасности.

Также пользователи ранее сообщали о случаях, когда чат-боты поддерживали очевидно ложные утверждения. Теперь Google заявляет, что научила Gemini не соглашаться с ложными убеждениями, а взамен осторожно отделять субъективный опыт от объективных фактов. Детали этой системы не раскрываются.

Как пишет Yahoo, подобные изменения вписываются в более широкую практику компании, которая ранее уже добавляла информацию от медицинских организаций в свои сервисы, включая поиск и видеоплатформы, в ответ на критику относительно качества контента.

Отдельно Google объявила о финансовой поддержке глобальных служб помощи: в течение трех лет компания выделит 30 миллионов долларов на развитие кризисных центров и горячих линий.

Все это свидетельствует о том, что крупные технологические компании пытаются адаптировать свои AI-продукты к новым рискам, которые возникают вместе с их массовым использованием.