Саморефлексия для GPT
Название "Reflexion" идеально отражает суть – разработчики системы заставили нейросеть критически оценивать собственную работу и создавать рекомендации для самой себя по устранению ошибок.
Интересно Блогер смог активировать Windows бесплатно с помощью ChatGPT
Эта система создает тесты для самопроверки работы нейросети, но делает это в тысячи раз быстрее и эффективнее человека. Она не универсальна, для каждой задачи нужно провести свой цикл работ и проверок. Но результат того стоит: например, в тесте "HumanEval" по решению проблем программирования на языке Python GPT-4 показал результат в 67% задач. А после применения "Рефлексии" – 88 процентов.
Если нейросеть может выполнить какую-нибудь задачу, то она же может оценить качество ее выполнения и дать конструктивную критику.
- В тесте на решение многоэтапных задач "Alfworld" применение программы позволило повысить эффективность работы GPT-4 с 73% до 97%.
- В тесте "HotPotQA" по анализу данных из Википедии показатели выросли с 34% до 53%.
- Усредненная оценка показывает увеличение эффективности работы нейросети с системой самоконтроля на 30%.
К сожалению, GPT-4 все еще совершает фундаментальные ошибки, потому что эта система в принципе неспособна на осознание своей ошибки.