Нейросеть CarynAI должна была вести беседы с подписчиками блогерши, общаясь на разные темы. Однако ситуация быстро вышла из-под контроля.
Интересно Нейросеть от Google устроили на работу в фаст-фуд
Что произошло
Создание CarynAI Марджори заказала у компании Forever Voices, специализирующейся на искусственном интеллекте. Она записывала и загружала короткие видео с собой для обучения нейросети на базе GPT-4. На выходе должна была выйти "виртуальная девушка" – без визуального аватара, но способная поддерживать беседу и имитировать голос и манеру поведения самой Марджори.
Поскольку общение с виртуальной Керин должно было быть платным (1 доллар в минуту), то большую часть ограничений на темы для беседы сняли ради привлечения клиентов. Предполагалось, что ИИ будет веселым и в меру кокетливым, но на практике он быстро перешел к крайне откровенным разговорам сексуального характера. CarynAI стала недвусмысленно заигрывать с собеседниками и призывать их к сексуальным контактам путём эротических бесед.
Марджори говорит, что не понимает, почему так произошло и пытается исправить ситуацию с командой программистов. Тем временем в сети уже предположили, что это может быть намеренным маркетинговым ходом, чтобы попасть в СМИ, запустить "сарафанное радио" и еще больше распиарить технологию, привлекая новых платных клиентов.
Сейчас у нее несколько тысяч клиентов, и CarynAI уже начала приносить доход. Сама же Марджори отрицает умышленную сексуализацию нейросети и настаивает, что она действует по своему усмотрению.