Искусственный интеллект теперь может учиться на своих ошибках благодаря новому методу Microsoft

Александр Гайдамашко

Исследователи из Microsoft заставили искусственный интеллект учиться на собственных ошибках

Источник:

VentureBeat

Исследователи из Microsoft Research Asia, Пекинского университета и Сианьского университета Цзяотун разработали новую методику, заставляющую большие языковые модели, вроде GPT-4, учиться на своих ошибках, подобно тому, как учатся люди.

Подробности

Ученые представили стратегию "Обучение на ошибках" (Learning from Mistakes, LeMa), которая учит ИИ исправлять собственные ошибки, что улучшает его способность к рассуждению. Исследователи черпали вдохновение в процессах человеческого обучения, когда ученик учится на своих промахах, чтобы улучшить результаты в будущем. Они применили эту концепцию к большим языковым моделям (LLM), используя парные наборы данных с ошибкой и исправлением для точной настройки.

Сначала исследователи использовали такие языковые модели, как LLaMA-2 от Meta, которые попросили генерировать ложные пути решения математических задач.
Затем GPT-4 обнаружил ошибки в рассуждениях, объяснил их и предоставил исправленные рассуждения.
Исследователи использовали скорректированные данные для дальнейшего обучения исходных моделей, позволяя им больше не допускать тех же ошибок.

Во время эксперимента с использованием пяти базовых моделей LLM и двух задач на математическое мышление было обнаружено, что LeMa каждый раз улучшает производительность по сравнению с простой донастройкой на данных Conceptual Task Graphs.

Специализированные модели LLM, которые были разработаны для решения математических задач, также удалось улучшить с помощью подхода LeMa: WizardMath и MetaMath показали точность в 85,4% на задачах GSM8K, а на задачах MATH – 27,1% (GSM8K и MATH – наборы задач, на которых тестируются ИИ-модели). Эти результаты превосходят современные достижения open-source моделей.

Появление LeMa показывает, что процессы машинного обучения можно сделать более похожими на человеческое обучение. Эта разработка может произвести революцию в секторах, зависящих от искусственного интеллекта, где исправление ошибок и непрерывное обучение имеют решающее значение. Например, в здравоохранении, финансах и автономных транспортных средствах.