Компания с ИИ-сотрудниками: почему эксперимент оказался провальным
- Эксперимент с фиктивной ИТ-компанией TheAgentCompany показал, что ИИ модели не могут полностью заменить людей, выполняя лишь небольшой процент задач.
- Наибольшие трудности ИИ-агентов возникли из-за отсутствия интуиции, социальных навыков и плохого понимания интернет-среды, что затрудняло выполнение задач.
Неоднократно звучали тезисы, что искусственный интеллект совсем скоро сможет заменить человека в определенных профессиях. Однако, очевидно, это будет не так легко и быстро.
Эксперимент, который заключался в полном замещении человеческой, искусственным интеллектом показывает, что говорить об этом рано. Об этом пишет 24 Канал со ссылкой на Futurism.
Смотрите также Женщина развелась с мужем из-за слов ChatGPT о нем
Ни одного настоящего работника
Даже самые мощные модели ИИ далеки от совершенства.
Ученые создали фиктивную ИТ-компанию под названием TheAgentCompany. В ней не было ни одного настоящего работника – все "сотрудники" были виртуальными агентами, созданными на базе моделей искусственного интеллекта от ведущих компаний: Google, OpenAI, Anthropic, Meta и других.
Они получили роли финансовых аналитиков, менеджеров проектов, HR-специалистов и программистов – то есть должны были имитировать работу реального офиса в области разработки программного обеспечения.
Агенты ИИ должны были решать типичные рабочие задачи: анализировать документы, наведываться в виртуальные офисы, просматривать файлы и писать отзывы на основе собранного фидбека. Однако результаты оказались довольно скромными.
Как ИИ справился
Самой успешной среди виртуальных работников стала модель Claude 3.5 Sonnet от Anthropic - она смогла выполнить лишь 24% задач. Чтобы справиться с одной задачей, ей приходилось делать в среднем 30 шагов.
ИИ не может заменить людей / Фото Pexels
Модель Gemini 2.0 Flash от Google показала еще более слабый результат – 11,4% успешных задач, со средней сложностью в 40 действий. А худшей оказалась Nova Pro v1 от Amazon, которая справлялась только с 1,7% поставленных задач, делая около 20 попыток на каждое.
Где возникло больше всего трудностей
Исследователи объяснили: несмотря на техническую мощность, эти модели имеют общие недостатки - отсутствие интуиции, низкий уровень социальных навыков и плохое понимание интернет-среды. Кроме того, агенты часто сами себе мешали, придумывая "короткие пути", которые в результате только усложняли процесс.
В рамках одной из задач ИИ-модель не смогла найти нужного человека для уточнения информации, поэтому решила просто переименовать другого пользователя, чтобы выполнить условие. Такой "креатив" лишь подчеркнул, насколько искусственному интеллекту пока не хватает человеческого смысла.