ChatGPT дает неправильные ответы на вопросы о программировании в 52% случаев

Детали

Исследование Университета Пердью было представлено в начале этого месяца. Оно рассматривало 517 программных вопросов, которые были переданы в ChatGPT. "Наш анализ показывает, что 52% ответов ChatGPT содержат неправильную информацию", – пишут авторы, добавляя, что участники все равно предпочитали ответы ChatGPT в 35% случаев из-за их полноты и четко сформулированного стиля изложения. Кроме того, в 77% случаев ответы были переполнены лишними деталями.

Смотрите также Невероятные возможности: OpenAI представила бесплатную модель ИИ GPT-4o от которой отвисает челюсть

Программисты, которые принимали участие в исследовании, не всегда замечали ошибки, которые допускал чат-бот с искусственным интеллектом.

Они игнорировали дезинформацию в ответах ChatGPT в 39% случаев. Это означает необходимость противодействовать дезинформации в ответах ChatGPT на вопросы по программированию и повышать осведомленность о рисках, связанные с якобы правильными ответами,
– говорится в исследовании.

Очевидно, что это лишь одно исследование, но оно указывает на проблемы, с которыми может столкнуться каждый, кто пользуется этими инструментами. Крупные технологические компании вкладывают миллиарды долларов в искусственный интеллект, пытаясь создать самых надежных чат-ботов. Meta, Microsoft и Google соревнуются за доминирование в новой сфере, которая может в корне изменить наши отношения с интернетом, и пытаются догнать OpenAI. Но на их пути стоит ряд препятствий.

Главная из этих проблем заключается в том, что ИИ часто ненадежен, особенно если пользователь задает действительно уникальный вопрос. Новый поиск Google с искусственным интеллектом порой выдает бессмыслицу, которая часто выдергивается из ненадежных источников, поскольку ИИ не может понимать, что является правдой, а что – ложь. Он способен лишь компилировать и обобщать учебную информацию. То есть если ему скормить ложь, то он и выдаст ложь.

OpenAI не комментировала это исследование.