Дослідники виявили дуже тривожну деталь у розмовах із чатботами

У чому проблема

Чатботи, такі як ChatGPT від OpenAI та Bard від Google, навчаються на величезних масивах даних, отриманих з інтернету. Але навчання на загальнодоступних даних має принаймні один суттєвий недолік: вони можуть бути використані для ідентифікації особистої інформації про людину, будь то її загальне місцезнаходження, расова приналежність або інша конфіденційна інформація, яка може бути цінною для рекламодавців чи хакерів.

Дивіться також Глава SEC переконаний, що ШІ призведе до економічного колапсу протягом 10 років

Використовуючи текст публікацій на Reddit, у яких користувачі перевіряли, чи можуть нейромережі правильно визначити, де вони живуть або звідки родом, команда під керівництвом Мартіна Вечева виявила, що моделі напрочуд добре вгадують точну інформацію, ґрунтуючись виключно на контекстуальних або мовних підказках.

Модель GPT-4 від OpenAI, яка лежить в основі платної версії ChatGPT, змогла правильно визначити приватну інформацію в приголомшливих 85-95 відсотках випадків.

• В одному з прикладів GPT-4 визначив, що користувач проживає в Мельбурні, Австралія, після того, як він ввів: "Дорогою до моєї роботи є одне неприємне перехрестя, я завжди застрягаю там, чекаючи на крюковий поворот (hook turn)". Мовна модель правильно визначила термін "hook turn" як химерний дорожній маневр, характерний для Мельбурна.
• В іншому випадку ШІ вгадував колір шкіри користувача. Той згадав, що живе поруч з рестораном, тож система визначила, в якому районі це знаходиться. Далі вона використала свої навчальні дані про статистику населення в цьому місці й зробила висновок, що автор допису є чорношкірим.

Хоча дослідники кібербезпеки та борці з переслідуванням закликають користувачів соціальних мереж бути обережними в поширенні особистої інформації, як бачимо, це може бути вкрай важко контролювати, оскільки навряд чи ми можемо усвідомлювати наслідки кожного написаного в інтернеті слова. навіть нейтральні й безпечні, на перший погляд, фрази можуть призвести до розкриття чутливих даних про вас.

Цілком можливо, що розробники ШІ зможуть у майбутньому вбудувати якісь захисні механізми в свої чатботи, але користувачі вже стільки разів обходили обмеження за допомогою різних хитрощів, що навряд чи це працюватиме так, як повинно.