ChatGPT дає неправильні відповіді на запитання щодо програмування в 52% випадків

Деталі

Дослідження Університету Пердью було представлене на початку цього місяця. Воно розглядало 517 програмних запитань, які були передані в ChatGPT. "Наш аналіз показує, що 52% відповідей ChatGPT містять неправильну інформацію", – пишуть автори, додаючи, що учасники все одно надавали перевагу відповідям ChatGPT у 35% випадків через їхню повноту та чітко сформульований стиль викладу. Крім того, у 77% випадків відповіді були переповнені зайвими деталями.

Дивіться також Неймовірні можливості: OpenAI представила безплатну модель ШІ GPT-4o від якої відвисає щелепа

Програмісти, які брали участь у дослідженні, не завжди помічали помилки, яких припускався чат-бот зі штучним інтелектом.

Вони ігнорували дезінформацію у відповідях ChatGPT у 39% випадків. Це означає необхідність протидіяти дезінформації у відповідях ChatGPT на запитання з програмування та підвищувати обізнаність про ризики, пов'язані з начебто правильними відповідями,
– йдеться в дослідженні.

Очевидно, що це лише одне дослідження, але воно вказує на проблеми, з якими може зіткнутися кожен, хто користується цими інструментами. Великі технологічні компанії вкладають мільярди доларів у штучний інтелект, намагаючись створити найнадійніших чат-ботів. Meta, Microsoft і Google змагаються за домінування у новій сфері, яка може докорінно змінити наші стосунки з інтернетом, і пробують наздогнати OpenAI. Але на їхньому шляху стоїть низка перешкод.

Головна з цих проблем полягає в тому, що ШІ часто ненадійний, особливо якщо користувач ставить справді унікальне запитання. Новий пошук Google зі штучним інтелектом часом видає нісенітницю, яка часто висмикується з ненадійних джерел, оскільки ШІ не може розуміти, що є правдою, а що – брехня. Він здатен лише компілювати й узагальнювати навчальну інформацію. Тобто якщо йому згодувати брехню, то він і видасть брехню.

OpenAI не коментувала це дослідження.