Компания Cloudflare меняет правила игры в интернете. Платформа объявила об автоматической блокировке ботов, которые одновременно индексируют сайты для поиска и собирают данные для искусственного интеллекта. Отныне владельцы веб-ресурсов получат больше контроля над своим контентом и даже смогут зарабатывать на нем. Об этом пишет блог Cloudflare: компания начнет автоматически блокировать веб-ботов смешанного назначения. Эти программы не только индексируют сайты для классических поисковых систем, но и тайно собирают данные для обучения моделей искусственного интеллекта. Раньше клиентам приходилось настраивать такие ограничения вручную, однако теперь защита будет работать по умолчанию.

Смотрите также: Anthropic не просто исправила Claude Fable, она его буквально уничтожила

Почему Cloudflare решилась на этот шаг?

Cloudflare действует как глобальный защитный щит между веб-сайтом и интернетом, отражая кибератаки и ускоряя загрузку страниц. В то же время интернет заполонили боты смешанного назначения. Под видом обычных поисковых роботов они бесплатно скачивают статьи, фотографии и другие авторские материалы для обучения нейросетей.

Генеральный директор Cloudflare Мэтью Принс пояснил, что большая часть трафика в сети уже принадлежит не людям. Поэтому компания должна действовать быстро, чтобы защитить создателей контента. Новые инструменты помогут владельцам сайтов контролировать свои ресурсы и получать коммерческую выгоду, а разработчиков ИИ заставят играть по прозрачным правилам.

Обратите внимание! По данным аналитиков, в июне 2026 года объем интернет-трафика от автоматизированных ботов и ИИ-агентов впервые в истории превысил активность реальных пользователей и составил 57,6%.

Как будут действовать новые правила с 15 сентября?

Начиная с 15 сентября 2026 года, Cloudflare вводит более строгие настройки для всех новых клиентов и новых сайтов:

  • Разрешение на поиск: система будет беспрепятственно пропускать обычных поисковых роботов.
  • Блокировка ИИ: роботы, собирающие данные для обучения искусственного интеллекта, будут автоматически блокироваться на страницах с рекламой.
  • Автоматический переход: Пользователи бесплатных тарифных планов будут автоматически переведены на новые правила, если они не откажутся от них до установленного срока.

Вместо обычной блокировки Cloudflare предлагает альтернативу – функцию "Оплата по факту использования" (Pay Per Use). Благодаря этому инструменту владельцы сайтов будут получать деньги каждый раз, когда чат-боты будут использовать их материалы для ответов пользователям. Платформа уже заключила первые партнерские соглашения с разработчиками Ceramic.AI и You.com.

Скрытый удар по Google

Новый механизм блокировки Cloudflare наносит удар по тактике техногиганта Google. Главный поисковый робот компании – Googlebot – одновременно выполняет две функции: индексирует страницы для поисковой выдачи и собирает данные для обучения нейросети Gemini.

В настоящее время владельцы сайтов не могут запретить Google использовать их тексты для ИИ, не вылетев при этом из традиционного поиска. Новая политика Cloudflare должна заставить Google и другие корпорации четко разделить поисковых роботов, ИИ-агентов и системы сбора данных для обучения моделей.