ChatGPT не смог сдать экзамен для получения медицинской лицензии, но был близок к успеху
Источник:
PLOS Digital HealthСамая популярная сегодня нейросеть ChatGPT набирает все большие обороты. Исследователи тестируют ее в разных ситуациях, заставляя сдавать экзамены по праву, менеджменту и медицине. И если с двумя первыми она успешно справилась, то третий оказался не по силам.
Как и любая нейросеть, ChatGPT не имеет никаких знаний в медицине. Она лишь мастерски манипулирует текстовой информацией для выдачи релевантных ответов. Такие алгоритмы учатся на огромных массивах данных, которые им "скармливают" разработчики. С помощью различных методов эта информация компилируется во что-то новое.
Интересно ChatGPT без проблем сдал экзамен в одной из лучших бизнес-школ мира
Слишком сложно
Группа энтузиастов из стартапа Ansible Health протестировала нейросеть ChatGPT на способность сдать один из самых сложных экзаменов США – USMLE (экзамен на получение медицинской лицензии). Этот экзамен состоит из трех частей, а подготовка к нему занимает 300–400 часов. Список вопросов варьируется от фундаментальных медицинских знаний до парадоксов биоэтики.
Результат удивил всех участников – текстовый ИИ почти сумел сдать этот экзамен, его показатели успешных ответов варьировались от 52% до 75% при нормативе в 60%.
Следует уточнить, что ChatGPT не учили специально перед сдачей экзамена. Он по-прежнему ничего не знает о медицине. Это было заметно в его ответах: алгоритм "придумал" несколько несуществующих клинически важных открытий и исследований для аргументированного ответа на некоторые вопросы.Вместе с тем исследователи говорят, что во время прохождения экзамена ИИ показал блестящую способность выстраивать логические цепочки для обоснования ответов. Он сумел отыскать в базе данных необходимую информацию по косвенным признакам, чтобы дать ответ.
К сожалению, в некоторых случаях решения ChatGPT были не только заведомо неправильными, но и могли привести к трагическим последствиям. Это означает, что в ближайшее время ИИ не заменит медицинских работников, хотя может стать помощником для них, как дополнительный источник данных.