Искусственный интеллект теперь может учиться на своих ошибках благодаря новому методу Microsoft

Подробности

Ученые представили стратегию "Обучение на ошибках" (Learning from Mistakes, LeMa), которая учит ИИ исправлять собственные ошибки, что улучшает его способность к рассуждению. Исследователи черпали вдохновение в процессах человеческого обучения, когда ученик учится на своих промахах, чтобы улучшить результаты в будущем. Они применили эту концепцию к большим языковым моделям (LLM), используя парные наборы данных с ошибкой и исправлением для точной настройки.

Смотрите также 28 стран подписали декларацию, признающую опасность ИИ "катастрофической"

• Сначала исследователи использовали такие языковые модели, как LLaMA-2 от Meta, которые попросили генерировать ложные пути решения математических задач.
• Затем GPT-4 обнаружил ошибки в рассуждениях, объяснил их и предоставил исправленные рассуждения.
• Исследователи использовали скорректированные данные для дальнейшего обучения исходных моделей, позволяя им больше не допускать тех же ошибок.

Во время эксперимента с использованием пяти базовых моделей LLM и двух задач на математическое мышление было обнаружено, что LeMa каждый раз улучшает производительность по сравнению с простой донастройкой на данных Conceptual Task Graphs.

Специализированные модели LLM, которые были разработаны для решения математических задач, также удалось улучшить с помощью подхода LeMa: WizardMath и MetaMath показали точность в 85,4% на задачах GSM8K, а на задачах MATH – 27,1% (GSM8K и MATH – наборы задач, на которых тестируются ИИ-модели). Эти результаты превосходят современные достижения open-source моделей.

Появление LeMa показывает, что процессы машинного обучения можно сделать более похожими на человеческое обучение. Эта разработка может произвести революцию в секторах, зависящих от искусственного интеллекта, где исправление ошибок и непрерывное обучение имеют решающее значение. Например, в здравоохранении, финансах и автономных транспортных средствах.