В список экзаменов входят тесты по литературе, математике, проверке интеллекта, сообразительности и общему уровню подготовки для поступления в колледж. Правда, от фундаментальных ошибок предыдущих версий нейросети пока так и не избавилась.
Интересно ChatGPT не смог ввести капчу, но нашел просто гениальное решение ситуации
Что известно
Компания опубликовала график, показывающий успехи GPT-4 в сдаче экзаменов. Синим цветом показана прошлая версия языковой модели, зеленым – новая.
Результаты экзаменов / Скриншот 24 канала
Данные об успехах GPT-4 следует воспринимать с некоторой долей скепсиса, поскольку в OpenAI не спешат подтверждать результаты тестов. Также там не скрывают, что подбирали задачи под возможности нейросети, а также проводили обучение для выполнения этих конкретных задач. Поэтому высокие показатели GPT-4 – это больше демонстрация достижений в адаптации нейросети к реальной работе, чем успехов в развитии технологий искусственного интеллекта.
Мы видим противоречивую ситуацию, когда прогресс в развитии нейросетей доминирует над темпами исправления ошибок в их алгоритмах. OpenAI только за два года выпустила уже три поколения нейросетей GPT, но каждая новая версия содержит фундаментальные ошибки своих предшественниц. Поэтому в официальных документах после слов об успехах нейросети всегда следует предупреждение, что результаты ее работы нельзя использовать в критически важных областях. Слишком часто GPT "фантазирует" и просто манипулирует данными.