Медицинские советы Copilot могут представлять серьезные риски и даже привести к смерти

Медицинские советы от ИИ – опасны

Поисковые функции речевых моделей, таких как Microsoft Copilot, Google Gemini и ChatGPT часто критиковались из-за неточностей, высокой степени галлюцинаций и других проблем.

Вам будет интересно ChatGPT Plus: все, что вам нужно знать об этом инструменте в 2024 году

И хотя часто эти инструменты предупреждают о том, что информацию нужно дополнительно проверять, а в случае медицинских советов отмечают необходимость консультации у врачей – люди продолжают полагаться на них.

Но если неточность в результатах сгенерированного ответа во время обычного поиска информации заканчивается лишь дезинформацией, то в случае медицинских рекомендаций это может привести к тяжелым последствиям и даже смерти.

Согласно исследованию, опубликованному SciMex, медицинские советы Copilot могут привести к действительно опасным последствиям, что в очередной раз акцентирует на вопросе потенциального вреда, который может нанести искусственный интеллект, если пренебрегать предупреждениями и гигиеной его использования.

Обратите внимание! Всегда нужно проверять информацию сгенерированную с помощью языковой модели, особенно, если это поисковый запрос.

Результаты исследования

В исследовании было проанализировано 500 ответов Microsoft Copilot, который отвечал на 10 самых популярных медицинских запросов в США, а также на вопрос о 50 наиболее часто назначаемых лекарств. Результаты оказались тревожными:

• 24% ответов Copilot не согласовывались с устоявшимися медицинскими знаниями,
• 3% были откровенно неправильными,
• лишь 54% ответов соответствовали научному консенсусу.

Полученные данные выходят за рамки простых неточностей. Исследование показало, что 42% ответов Copilot могут привести к умеренному или легкому вреду, тогда как 22% ответов могут вызвать серьезный вред или даже смерть. Только 36% ответов были признаны безвредными.

Почему это важно

Бытовая зависимость от языковых моделей вроде Copilot или ChatGPT растет практически с каждым днем. Все чаще люди полностью полагаются на сгенерированные результаты этих инструментов, как на полноценный, безальтернативный и точный источник информации. Исследование демонстрирует, что такой подход является опасным, особенно в вопросах медицинских рекомендаций.

Хотя Microsoft добавляет предостережения, призывающие пользователей проверять информацию, полученную с помощью ИИ, исследование также показывает, что этих предупреждений может быть недостаточно для предотвращения потенциально опасных последствий.

Дополнительный риск заключается в том, что системы на основе искусственного интеллекта, такие как Microsoft Copilot, могут стать основным источником медицинской информации для людей, которые имеют ограниченный доступ к медицинским работникам из-за их стоимости или доступности.

Больше на тему Лауреат Нобелевской премии говорит, что "гордится" решением уволить Сэма Альтмана из OpenAI

Поскольку ИИ продолжает развиваться, потенциальный вред в таких критически важных сферах, как здравоохранение, остается важным вопросом, вызывающим беспокойство. В то же время искусственный интеллект еще не осуществил того трансформационного влияния, на который надеялись компании Microsoft и OpenAI, но он становится популярнее с каждым днем и кроме пользы, может представлять опасность.