ChatGPT не смог сдать экзамен для получения медицинской лицензии, но был близок к успеху

Как и любая нейросеть, ChatGPT не имеет никаких знаний в медицине. Она лишь мастерски манипулирует текстовой информацией для выдачи релевантных ответов. Такие алгоритмы учатся на огромных массивах данных, которые им "скармливают" разработчики. С помощью различных методов эта информация компилируется во что-то новое.

Интересно ChatGPT без проблем сдал экзамен в одной из лучших бизнес-школ мира

Слишком сложно

Группа энтузиастов из стартапа Ansible Health протестировала нейросеть ChatGPT на способность сдать один из самых сложных экзаменов США – USMLE (экзамен на получение медицинской лицензии). Этот экзамен состоит из трех частей, а подготовка к нему занимает 300–400 часов. Список вопросов варьируется от фундаментальных медицинских знаний до парадоксов биоэтики.

Результат удивил всех участников – текстовый ИИ почти сумел сдать этот экзамен, его показатели успешных ответов варьировались от 52% до 75% при нормативе в 60%.

Следует уточнить, что ChatGPT не учили специально перед сдачей экзамена. Он по-прежнему ничего не знает о медицине. Это было заметно в его ответах: алгоритм "придумал" несколько несуществующих клинически важных открытий и исследований для аргументированного ответа на некоторые вопросы.

Вместе с тем исследователи говорят, что во время прохождения экзамена ИИ показал блестящую способность выстраивать логические цепочки для обоснования ответов. Он сумел отыскать в базе данных необходимую информацию по косвенным признакам, чтобы дать ответ.

К сожалению, в некоторых случаях решения ChatGPT были не только заведомо неправильными, но и могли привести к трагическим последствиям. Это означает, что в ближайшее время ИИ не заменит медицинских работников, хотя может стать помощником для них, как дополнительный источник данных.