Работа GPT-4 улучшилась на 30% благодаря программе самоанализа

Саморефлексия для GPT

Название "Reflexion" идеально отражает суть – разработчики системы заставили нейросеть критически оценивать собственную работу и создавать рекомендации для самой себя по устранению ошибок.

Интересно Блогер смог активировать Windows бесплатно с помощью ChatGPT

Эта система создает тесты для самопроверки работы нейросети, но делает это в тысячи раз быстрее и эффективнее человека. Она не универсальна, для каждой задачи нужно провести свой цикл работ и проверок. Но результат того стоит: например, в тесте "HumanEval" по решению проблем программирования на языке Python GPT-4 показал результат в 67% задач. А после применения "Рефлексии" – 88 процентов.

Если нейросеть может выполнить какую-нибудь задачу, то она же может оценить качество ее выполнения и дать конструктивную критику.

• В тесте на решение многоэтапных задач "Alfworld" применение программы позволило повысить эффективность работы GPT-4 с 73% до 97%.
• В тесте "HotPotQA" по анализу данных из Википедии показатели выросли с 34% до 53%.
• Усредненная оценка показывает увеличение эффективности работы нейросети с системой самоконтроля на 30%.

К сожалению, GPT-4 все еще совершает фундаментальные ошибки, потому что эта система в принципе неспособна на осознание своей ошибки.

Дополнение "Рефлексия" снижает количество ошибочных выводов, но поскольку исполнитель и проверяющий являются одной и той же системой, данная архитектура не может распознать собственные промахи, если ей не указали на них извне. Это делает этот инструмент удобным и полезным только при условии, что его работу будут контролировать владеющие нужными знаниями.