Саморефлексія для GPT
Назва "Reflexion" ідеально відображає суть – розробники системи змусили нейромережу критично оцінювати власну роботу і створювати рекомендації для самої себе щодо виправлення помилок.
Цікаво Блогер зміг активувати Windows безплатно за допомогою ChatGPT
Ця система створює тести для самоперевірки роботи нейромережі, але робить це в тисячі разів швидше й ефективніше за людину. Вона не універсальна, для кожного завдання потрібно провести свій цикл робіт і перевірок. Але результат того вартий: наприклад, у тесті "HumanEval" з розв'язання проблем програмування мовою Python GPT-4 показав результат у 67% завдань. А після застосування "Рефлексії" – 88 відсотків.
Якщо нейромережа може виконати якесь завдання, то вона ж може оцінити якість його виконання і дати конструктивну критику.
- У тесті на розв'язання багатоетапних завдань "Alfworld" застосування програми дало змогу збільшити ефективність роботи GPT-4 з 73% до 97%.
- У тесті "HotPotQA" з аналізу даних з Вікіпедії показники зросли з 34% до 53%.
- Усереднена оцінка показує збільшення ефективності роботи нейромережі з системою самоконтролю на 30%.
На жаль, GPT-4 все ще робить фундаментальні помилки, тому що ця система в принципі нездатна на усвідомлення своєї помилки.