Исследование открыло страшную правду о коде, написанном ИИ и "человеческом" кодировании
- Исследование CodeRabbit показало, что AI-сгенерированный код содержит больше ошибок, чем код, написанный людьми, со средним показателем 10,83 проблем против 6,45 в человеческом коде.
- Хотя AI-инструменты повышают эффективность на ранних этапах разработки, AI-код имеет больше серьезных дефектов, которые требуют человеческой проверки и исправления.
Код, сгенерированный искусственным интеллектом, содержит больше ошибок и уязвимостей, чем тот, что пишут разработчики-люди. Об этом свидетельствуют новые данные компании CodeRabbit, которые ставят под сомнение надежность AI-инструментов в программировании и их влияние на качество финального продукта.
Согласно исследованию CodeRabbit, код, созданный с использованием AI-инструментов, в среднем содержат 10,83 проблемы. Для сравнения, в коде, написанном людьми, этот показатель составляет 6,45. В итоге это приводит к более долгим проверкам и повышает риск того, что ошибки попадут в финальную версию продукта. Об этом сообщает 24 Канал со ссылкой на CodeRabbit.
Смотрите также Авторитетный словарь назвал слово года: возможно, вы его не слышали, но точно видели
Почему AI-сгенерированный код оказался проблемнее человеческого?
В целом AI-сгенерированный код имеет в 1,7 раза больше проблем. В то же время количество критических ошибок в нем выше в 1,4 раза, а серьезных – в 1,7 раза. То есть речь идет не только о мелких недостатках, но и о дефектах, которые могут существенно повлиять на безопасность и стабильность программ.
Наибольший рост количества ошибок зафиксирован в категориях логики и корректности – в 1,75 раза больше, чем в человеческом коде. Проблемы с качеством и поддерживаемостью выросли в 1,64 раза, с безопасностью – в 1,57 раза, а с производительностью – в 1,42 раза. В отчете отмечается, что AI часто добавляет серьезные дефекты, которые впоследствии вынуждены исправлять рецензенты-люди.
Среди типичных проблем, которые чаще всего возникают в AI-коде, исследователи называют неправильную работу с паролями, опасные ссылки на объекты, уязвимости типа XSS и опасную десериализацию. Именно эти ошибки могут стать причиной серьезных инцидентов в сфере кибербезопасности.
Директор по AI в CodeRabbit Дэвид Локер отмечает, что инструменты автоматического программирования значительно увеличивают объемы кода, но в то же время создают предсказуемые и измеряемые слабые места. По его словам, компаниям приходится активно работать над снижением этих рисков.
Как пишет TechRadar, исследование не делает AI исключительно негативным фактором. На ранних этапах разработки такие инструменты действительно повышают эффективность. Например, в AI-сгенерированном коде обнаружили в 1,76 раза меньше орфографических ошибок и в 1,32 раза меньше проблем, связанных с тестируемостью.
Авторы отчета подчеркивают, что результаты демонстрируют смену ролей в разработке программного обеспечения. Речь идет не о вытеснении людей, а о переходе к модели, где специалисты больше сосредотачиваются на контроле, проверке и управлении AI, тогда как машины берут на себя рутинные задачи.
Кроме того, AI-модели, в частности семейство GPT от OpenAI, постоянно совершенствуются. Ожидается, что со временем они будут генерировать более точный и менее ошибочный код, хотя нынешние данные показывают: без внимательного человеческого контроля AI-программирование пока не является более безопасной альтернативой.
Почему более половины ученых уже используют ИИ?
Более 50% исследователей использовали инструменты искусственного интеллекта при рецензировании научных статей. Об этом свидетельствует опрос издательской компании Frontiers, в котором приняли участие около 1 600 академиков из 111 стран. Почти четверть респондентов отметили, что за последний год начали пользоваться ИИ для peer review чаще.
Опрос Frontiers также детализирует, как именно рецензенты применяют AI-инструменты. 59% из тех, кто использует ИИ, привлекают его для помощи в написании текстов рецензий. Еще 29% применяют его для обобщения содержания рукописей, поиска пробелов или проверки ссылок. 28% используют ИИ для выявления возможных нарушений, в частности плагиата или дублирования изображений.