Никита АлимпиевNikAlimp

Cloudflare AI Crawl Control

Cloudflare AI Crawl Control — это раздел Cloudflare, который показывает, какие AI-краулеры заходят на сайт, сколько страниц они забирают, и позволяет разрешать или блокировать каждого из них.

Работает в РоссииБесплатный план: естьРусский язык: нетAI-краулеры и доступ к контенту

Кому подходит

Владельцам сайтов на Cloudflare, которые управляют доступом нейросетей к контенту.

Кому не подходит

Сайтам с основной аудиторией в России и сайтам не на Cloudflare.

Итог

Самый простой способ увидеть AI-ботов на сайте и решить, кого из них пускать.

Cloudflare AI Crawl Control — это раздел Cloudflare, который показывает, какие AI-краулеры заходят на сайт, сколько страниц они забирают, и позволяет разрешать или блокировать каждого из них.

Главное отличие от правил в robots.txt — контроль на уровне сети. Robots.txt — просьба, которую бот может игнорировать, а Cloudflare блокирует запросы до того, как они дойдут до сервера, и показывает, кто правила нарушает. До 2025 года инструмент назывался AI Audit.

Возможности

  • Аналитика AI-ботов: GPTBot, ClaudeBot, PerplexityBot, Google-Extended и другие.
  • Разрешение и блокировка каждого краулера одним переключателем.
  • Проверка robots.txt: какие боты нарушают ваши правила.
  • Свой ответ для ботов, например с условиями лицензирования контента.
  • Pay per crawl: плата за доступ краулеров, пока в ограниченном доступе.

Кому подходит

Медиа, блогам и сайтам компаний, которые решают, каким нейросетям отдавать контент: для видимости в AI-поиске или для защиты от обучения моделей.

Как начать

Подключите сайт к Cloudflare, откройте раздел AI Crawl Control и посмотрите, какие боты заходят. Затем решите, кого пускать, а кого блокировать.

Совет

Не блокируйте всех AI-ботов разом. Поисковые краулеры вроде OAI-SearchBot и PerplexityBot приводят цитирование в ответах нейросетей, а боты для обучения моделей трафика не дают.

Ограничения

Работает только для сайтов, подключённых к Cloudflare. В России сервисы Cloudflare замедляются, поэтому для российской аудитории такая схема рискованна.

Плюсы

  • Работает на бесплатном тарифе

  • Видно каждого AI-бота и число его запросов

  • Блокировка на уровне сети, а не просьба в robots.txt

  • Видно, кто нарушает правила robots.txt

Минусы

  • Только для сайтов на Cloudflare

  • Замедление Cloudflare в России

  • Pay per crawl пока доступен не всем

Тарифы Cloudflare AI Crawl Control

ТарифЦенаЧто входит
FreeбесплатноАналитика AI-ботов, блокировка
Pro и Businessпо тарифам CloudflareРасширенная аналитика и правила
Enterpriseпо запросуТонкие правила, Pay per crawl
Категория

GEO и AI-поиск · AI-краулеры и доступ к контенту

Цена

Базовые функции доступны на всех тарифах Cloudflare, включая бесплатный. Расширенная аналитика и тонкие правила — на платных и корпоративных тарифах.

Работа из России

Панель Cloudflare открывается из России, а бесплатный тариф не требует карты. Но с 2025 года российские провайдеры замедляют сервисы Cloudflare, поэтому для сайта с российской аудиторией это заметный риск.

Платформы

Веб, API

Cloudflare AI Crawl Control и аналоги

ИнструментЦенаРоссияБесплатно
Cloudflare AI Crawl ControlБазовые функции доступны на всех тарифах Cloudflare, включая бесплатныйРаботает в Россииесть
Applebot-ExtendedБесплатно: это токен для robots.txt, а не сервисРаботает в Россииесть
Dark VisitorsFreemium: бесплатный план на 1 проект и 100 000 событий в месяц, платные — от $29 в месяцРаботает в Россииесть

С чем используют вместе

  • Cloudflare

    Cloudflare — глобальная сеть, через которую проходит трафик миллионов сайтов. Она ускоряет загрузку через CDN, защищает от DDoS-атак, выдаёт SSL-сертификаты и предоставляет быстрый DNS.

  • Dark Visitors

    Dark Visitors — это сервис, который отслеживает AI-ботов и агентов на сайте и автоматически поддерживает robots.txt со списком актуальных краулеров. Сейчас сервис называется Known Agents.

  • Google Search Console

    Google Search Console — бесплатный кабинет вебмастера в Google. Он показывает, как сайт выглядит в поиске Google: по каким запросам его находят, какие страницы в индексе и какие ошибки мешают показам.

Частые вопросы о Cloudflare AI Crawl Control

Cloudflare AI Crawl Control бесплатный?+

Да, базовые функции есть на бесплатном тарифе Cloudflare. Расширенные возможности — на платных тарифах.

Работает ли AI Crawl Control в России?+

Панель открывается и бесплатный тариф доступен без карты, но российские провайдеры замедляют Cloudflare, и это бьёт по скорости сайта для местной аудитории.

AI Crawl Control или Dark Visitors?+

Dark Visitors ведёт справочник AI-ботов и помогает с robots.txt на любом хостинге. AI Crawl Control блокирует ботов на уровне сети, но только на Cloudflare.

Стоит ли блокировать AI-краулеров?+

Ботов AI-поиска лучше пускать: они дают упоминания в ответах нейросетей. Ботов для обучения моделей блокируют, если контент — ваш главный актив.

Узнайте, что нейросети говорят о вашем бизнесе

GEO-аудит: проверю 5 нейросетей по 20+ запросам клиентов, найду, кого советуют вместо вас, и дам план на 90 дней.

О GEO-аудите

Бесплатные инструменты на сайте

Подборки инструментов в TelegramНовые сервисы, аналоги и что работает из России — раз в неделю.
Перейти на cloudflare.com/ai-crawl-control

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.