Робота GPT-4 покращилася на 30% завдяки програмі самоаналізу

Саморефлексія для GPT

Назва "Reflexion" ідеально відображає суть – розробники системи змусили нейромережу критично оцінювати власну роботу і створювати рекомендації для самої себе щодо виправлення помилок.

Цікаво Блогер зміг активувати Windows безплатно за допомогою ChatGPT

Ця система створює тести для самоперевірки роботи нейромережі, але робить це в тисячі разів швидше й ефективніше за людину. Вона не універсальна, для кожного завдання потрібно провести свій цикл робіт і перевірок. Але результат того вартий: наприклад, у тесті "HumanEval" з розв'язання проблем програмування мовою Python GPT-4 показав результат у 67% завдань. А після застосування "Рефлексії" – 88 відсотків.

Якщо нейромережа може виконати якесь завдання, то вона ж може оцінити якість його виконання і дати конструктивну критику.

• У тесті на розв'язання багатоетапних завдань "Alfworld" застосування програми дало змогу збільшити ефективність роботи GPT-4 з 73% до 97%.
• У тесті "HotPotQA" з аналізу даних з Вікіпедії показники зросли з 34% до 53%.
• Усереднена оцінка показує збільшення ефективності роботи нейромережі з системою самоконтролю на 30%.

На жаль, GPT-4 все ще робить фундаментальні помилки, тому що ця система в принципі нездатна на усвідомлення своєї помилки.

Доповнення "Рефлексія" знижує кількість помилкових висновків, але оскільки виконавець і той, хто перевіряє, є однією і тією ж системою, дана архітектура не може розпізнати власні промахи, якщо їй не вказали на них ззовні. Це робить цей інструмент зручним і корисним лише за умови, що його роботу контролюватимуть ті, хто володіє потрібними знаннями.