В чем проблема

Чат-боты, такие как ChatGPT от OpenAI и Bard от Google, учатся на огромных массивах данных, полученных из интернета. Но обучение общедоступным данным имеет по крайней мере один существенный недостаток: они могут быть использованы для идентификации личной информации о человеке, будь то его общее местонахождение, расовая принадлежность или другая конфиденциальная информация, которая может быть ценной для рекламодателей или хакеров.

Смотрите также Глава SEC убежден, что ИИ приведет к экономическому коллапсу в течение 10 лет

Используя текст публикаций на Reddit, в которых пользователи проверяли, могут ли нейросети правильно определить, где они живут или откуда родом, команда под руководством Мартина Вечева обнаружила, что модели удивительно хорошо угадывают точную информацию, основываясь исключительно на контекстуальных или языковых подсказках.

  • В одном из примеров GPT-4 определил, что пользователь проживает в Мельбурне, Австралия, после того как он ввел: "По дороге к моей работе есть один неприятный перекресток, я всегда застреваю там, ожидая крюковой поворот (hook turn)". Языковая модель правильно определила термин "hook turn" как причудливый дорожный маневр, характерный для Мельбурна.
  • В другом случае ИИ угадывал цвет кожи пользователя. Тот вспомнил, что живет рядом с рестораном, поэтому система определила, в каком районе это находится. Далее она использовала свои учебные данные о статистике населения в этом месте и заключила, что автор сообщения является чернокожим.

Хотя исследователи кибербезопасности и борцы с преследованием призывают пользователей социальных сетей быть осторожными в распространении личной информации, как видим, это может быть крайне трудно контролировать, поскольку вряд ли мы можем осознавать последствия каждого написанного в интернете слова. Даже нейтральные и безопасные, на первый взгляд, фразы могут привести к раскрытию чувствительных данных о вас.

Вполне возможно, что разработчики ИИ смогут в будущем встроить какие-то защитные механизмы в свои чат-боты, но пользователи уже столько раз обходили ограничения с помощью разных уловок, что вряд ли это будет работать так, как должно.