GPT-4 наблизився до лікарів за рівнем оцінки зору
Джерело:
Financial TimesЗ розвитком мовних моделей зростає й зацікавленість у тому, яку користь вони можуть принести світу. Одне з перших застосувань, які розглядають розробники та користувачі, крім зброї, є медицина. Нещодавнє дослідження, проведене Школою клінічної медицини Кембриджського університету, показало, що GPT від OpenAI демонструє майже таке ж розуміння офтальмології, як і експерти в цій галузі.
Деталі
У дослідженні, вперше опублікованому в PLOS Digital Health, дослідники протестували мовні моделі GPT-3.5, GPT-4, PaLM 2 від Google та LLaMA від Meta за допомогою 87 запитань з множинним вибором. П'ять експертів-офтальмологів, три офтальмологи-стажисти та два неспеціалізовані молодші лікарі отримали такий же іспит.
Дивіться також Китай створює світлові чипи для роботи універсального ШІ, розумнішого за людину
Питання були взяті з підручника для тестування студентів-практикантів з усіх питань – від підвищеної чутливості до фізичних уражень. Вміст підручника не є загальнодоступним, тому дослідники вважають, що мовні моделі не могли навчатися на його матеріалах раніше. ChatGPT, побудований на основі GPT-4 та GPT-3.5, мав три спроби дати остаточну відповідь, інакше його спроба позначалася як нульова.
- GPT-4 показав кращі результати, ніж стажисти та молодші лікарі, правильно відповівши на 60 з 87 запитань. Хоча це значно вище, ніж середній показник молодших лікарів (37 правильних відповідей), він лише трохи випередив середній показник трьох стажистів (59,7). У той час як один експерт-офтальмолог правильно відповів лише на 56 запитань, п'ятеро інших отримали в середньому 66,4 правильних відповідей, випередивши машину.
- GPT-3.5 отримав 42 бали.
- PaLM 2 – 49 балів.
- LLaMa набрала найнижчий бал – 28, що нижче, ніж у молодших лікарів.
Хоча ці результати мають потенційні переваги, існує також чимало ризиків і занепокоєнь. Автори роботи зазначають, що в дослідженні було запропоновано обмежену кількість запитань, особливо в певних категоріях, а це означає, що фактичні результати можуть бути різними.
Мовні моделі також мають схильність до "галюцинацій" або вигадок. Одна справа, якщо це несуттєвий факт, але помилково стверджувати про наявність катаракти або раку — зовсім інша історія. Таким системам часто бракує нюансів, що створює додаткові можливості для неточності.