Сегодня контент, нарушающий правила соцсети обычно обозначают сами пользователи или алгоритмы машинного обучения. С наиболее очевидными случаями система справляется автоматически, например, удаляя публикации, нарушающие правила или блокируя аккаунт пользователя, который опубликовал данный контент. Остальные случаи попадают на рассмотрение модераторов, пишет The Verge.

Интересно В Instagram и мессенджере Facebook появились самоуничтожающиеся сообщения

Что известно

В Facebook работают около 15 тысяч модераторов в разных уголках мира. Соцсеть неоднократно критиковали за то, что администрация недостаточно их поддерживает и не нанимает большее количество персонала. На эту тему даже снимали документальные фильмы, в которых раскрывали вопросы психологического здоровья работников, которые каждый день сталкиваются с насилием разнообразного характера, жестокими или непристойными фото. Задача модераторов заключается в сортировке постов с жалобами, а также принятии решения о том, нарушают ли они правила соцсети или нет.

Ранее модераторы рассматривали посты по мере публикации. Facebook решил изменить подход для того, чтобы в первую очередь рассматривать публикации, которые набирают большой охват и, соответственно, способны нанести больше вреда.

Новая модель будет использовать три критерия для отбора наиболее вредных публикаций:

  • вирусность,
  • сюжет публикации,
  • вероятность того, что она нарушает правила.

После этого ИИ будет обозначать такие публикации, чтобы они поднимались выше в очереди на рассмотрение модераторами.

Весь контент, нарушающий правила соцсети, будет по-прежнему рассматриваться людьми, однако использование новой системы позволит более эффективно расставлять приоритеты в этом процессе,
– прокомментировали в Facebook.

По мнению соцсети, новый подход поможет быстрее реагировать и разбираться с нарушениями правил, у которых широкий охват.