ChatGPT сдал почти все существующие в США экзамены, хотя и не без ошибок

В список экзаменов входят тесты по литературе, математике, проверке интеллекта, сообразительности и общему уровню подготовки для поступления в колледж. Правда, от фундаментальных ошибок предыдущих версий нейросети пока так и не избавилась.

Интересно ChatGPT не смог ввести капчу, но нашел просто гениальное решение ситуации

Что известно

Компания опубликовала график, показывающий успехи GPT-4 в сдаче экзаменов. Синим цветом показана прошлая версия языковой модели, зеленым – новая.

Результаты экзаменов / Скриншот 24 канала

Данные об успехах GPT-4 следует воспринимать с некоторой долей скепсиса, поскольку в OpenAI не спешат подтверждать результаты тестов. Также там не скрывают, что подбирали задачи под возможности нейросети, а также проводили обучение для выполнения этих конкретных задач. Поэтому высокие показатели GPT-4 – это больше демонстрация достижений в адаптации нейросети к реальной работе, чем успехов в развитии технологий искусственного интеллекта.

Мы видим противоречивую ситуацию, когда прогресс в развитии нейросетей доминирует над темпами исправления ошибок в их алгоритмах. OpenAI только за два года выпустила уже три поколения нейросетей GPT, но каждая новая версия содержит фундаментальные ошибки своих предшественниц. Поэтому в официальных документах после слов об успехах нейросети всегда следует предупреждение, что результаты ее работы нельзя использовать в критически важных областях. Слишком часто GPT "фантазирует" и просто манипулирует данными.

Напомним, GPT-4 лежит в основе ChatGPT. Пока разработчики не открыли доступ к ней для всех пользователей – большинство из них все еще пользуется GPT-3.5. После тестирования, которое уже проходит, следует ожидать обновления. Четвертую версию показали в середине марта. В отдельном материале мы рассказали о ее особенностях и преимуществах.