У попередній роботі, яку провів Нью-Йоркський університет, розглядалися мови Python, C і Verilog. Дослідники тоді скористалися допомогою штучного інтелекту Copilot і виявили, що близько 40 відсотків застосунків, у створенні яких він брав участь, містять у собі вразливості.
Цікаво Штучний інтелект допомагає лікувати пацієнтів з інсультом – одужує втричі більше
Результати дослідження
- У Стенфорді проаналізували код на Python, JavaScript і C, а також систему штучного інтелекту Codex, розроблену лабораторією OpenAI в Сан-Франциско. Вона вчилась на мільярдах рядків відкритого коду, щоб запропонувати свої варіанти, враховуючи контекст уже написаного.
- До експериментів залучили 47 осіб із різним рівнем професіоналізму – від студентів-бакалаврів до фахівців.
- У групі з AI-помічником безпечні (у сенсі можливої кібератаки) рішення реалізовувались у 67 відсотках випадків, у другій групі, що працювала без допомоги алгоритмів – у 79%.
- З цього зробили висновок, що до штучного інтелекту в ролі помічника слід ставитися з обережністю, особливо якщо сам розробник недосвідчений.
Інструменти генерації коду на основі штучного інтелекту — це дійсно захоплива розробка, і цілком зрозуміло, що так багато людей прагнуть їх використовувати. Однак ці інструменти викликають проблеми, над якими варто задуматися, щоб рухатись уперед,
– каже Ніл Перрі, аспірант Стенфорда і провідний співавтор дослідження.
З розвитком технологій у майбутньому нові нейромережі, ймовірно, зможуть поліпшити показники. Сьогодні активно ведеться розробка засобів, котрі генерують уже готові ділянки коду, дозволяючи значно пришвидшити розробку програм. Ба більше, багато розробників уже зараз тестують можливості нейромереж, зокрема нову ChatGPT. Однак її ще не перевіряли на вміння писати безпечний код.