ChatGPT не зміг скласти іспит для отримання медичної ліцензії, але був дуже близький до успіху

13 лютого 2023, 14:01

Джерело:

PLOS Digital Health

Найпопулярніша сьогодні нейромережа ChatGPT набирає дедалі більших обертів. Дослідники тестують її в різних ситуаціях, змушуючи складати іспити з права, менеджменту й медицини. І якщо з двома першими вона успішно справилась, то третій виявився не до снаги.

Як і будь-яка нейромережа, ChatGPT не має жодних знань у медицині. Він лише майстерно маніпулює текстовою інформацією для видачі релевантних відповідей. Такі алгоритми навчаються на величезних масивах даних, які їм "згодовують" розробники. За допомогою різних методів ця інформація компілюється в щось нове.

Цікаво ChatGPT без проблем склав іспит в одній з кращих бізнес-шкіл світу

Занадто складно

Група ентузіастів зі стартапу Ansible Health протестувала нейромережу ChatGPT на здатність скласти один із найскладніших іспитів США – USMLE (іспит на отримання медичної ліцензії). Цей екзамен складається з трьох частин, а підготовка до нього займає 300-400 годин. Перелік питань варіюється від фундаментальних медичних знань до парадоксів біоетики.

Результат здивував усіх учасників – текстовий ШІ майже зумів скласти цей іспит, його показники успішних відповідей варіювалися від 52% до 75% при нормативі в 60%.

Варто уточнити, що ChatGPT не навчали спеціально перед складанням іспиту. Він, як і раніше, нічого не знає про медицину. Це було помітно в його відповідях: алгоритм "придумав" кілька неіснуючих клінічно важливих відкриттів і досліджень для аргументованої відповіді на деякі запитання.

Разом із тим дослідники кажуть, що під час проходження іспиту ШІ показав блискучу здатність вибудовувати логічні ланцюжки для обґрунтування відповідей. Він зумів відшукати в базі даних необхідну інформацію за непрямими ознаками, щоб дати розгорнуту відповідь.

На жаль, у деяких випадках рішення ChatGPT були не тільки завідомо неправильними, а й могли б призвести до трагічних наслідків. Це означає, що найближчим часом ШІ не замінить медичних працівників, хоча й може стати помічником для них, як додаткове джерело даних.