"Слепое" оценивание показало, что люди отдают предпочтение стихам, созданным ИИ, а не человеком
Ученые обнаружили, что читателям трудно отличить стихи, созданные искусственным интеллектом, от тех, которые написал человек. Даже произведения таких знаменитых художников, как Уильям Шекспир и Эмили Дикинсон, остаются незамеченными рядом со строками ИИ. Еще более странным является то, что участники эксперимента, кажется, отдавали предпочтение именно творчеству машины.
ИИ становится все более реалистичным
Исследователи из Питсбургского университета Брайан Портер и Эдуард Машери провели два эксперимента с участием "непрофессиональных чтецов поэзии". Свои выводы они описали в журнале Scientific Reports, пишет 24 Канал.
Смотрите также Новый ИИ издевается над телефонными мошенниками, имитируя старого человека, который не понимает технологии
Ученые обнаружили, что "участники показали результаты, ниже случайности, в распознавании стихов, сгенерированных искусственным интеллектом. В частности, участники были более склонны оценивать стихи, созданные искусственным интеллектом, как такие, написанные человеком, чем настоящие стихи, написанные человеком".
Стихи, созданные искусственным интеллектом, получили более высокие баллы от участников за такие качества, как ритм и красота, что, похоже, сбивало их с толку при определении того, какой стих является продуктом языковой модели, а какой — творческим произведением человека.
Команда считает, что трудности могут быть связаны с "простотой стихов, созданных искусственным интеллектом", которые "могут быть более понятными для неспециалистов". Проще говоря, поэзия, созданная искусственным интеллектом, является привлекательно прямолинейной и менее запутанной для вкуса среднестатистического жителя планеты.
Эксперименты
В первом эксперименте участникам показали десять стихотворений в случайном порядке. Пять из них принадлежали известным мастерам слова, в частности Уильяму Шекспиру, Эмили Дикинсон и Томасу Стернзу Элиоту. Другие пять были сгенерированы с помощью уже устаревшей большой языковой модели GPT 3.5 от OpenAI, задачей которой было имитировать стиль вышеупомянутых поэтов.
Во втором эксперименте участникам было предложено оценить стихи по 14 различным характеристикам, включая качество, эмоциональность, ритм и оригинальность. Участников разделили на три группы, которым сообщили, что стихи были созданы искусственным интеллектом, написаны человеком или же не предоставили никакой информации об их происхождении.
Интересно, что группа, которой сказали, что стихи сгенерированы искусственным интеллектом, как правило, ставила стихам более низкие баллы, чем те участники, которым сказали, что стихи написаны художниками. Это свидетельствует, что люди то ли сознательно, то ли подсознательно занижают оценку ИИ, как бы не признавая, что он хуже человека и не заслуживает высокого балла. Однако когда респонденты думали, что ИИ-текст принадлежит человеку, такой проблемы не было – они считали, что то или иное стихотворение действительно достойно похвалы.
Третья группа, которая не получила никакой информации о происхождении стихов, фактически отдала предпочтение стихам, сгенерированным искусственным интеллектом, а не написанным человеком.
Вопреки предыдущим исследованиям, люди, похоже, не могут надежно отличить поэзию, сгенерированную искусственным интеллектом, от поэзии, написанной человеком и известных поэтов,
- делают вывод в своей статье исследователи.
Стоит отметить, что феномен "более человеческого, чем человеческое", обнаружен также в других сферах генеративного ИИ. Участники эксперимента, которые не являются экспертами, с большей вероятностью оценят что-то созданное ИИ, как такое, что было сделано человеком.