Cloudflare AI Crawl Control — это раздел Cloudflare, который показывает, какие AI-краулеры заходят на сайт, сколько страниц они забирают, и позволяет разрешать или блокировать каждого из них.
Главное отличие от правил в robots.txt — контроль на уровне сети. Robots.txt — просьба, которую бот может игнорировать, а Cloudflare блокирует запросы до того, как они дойдут до сервера, и показывает, кто правила нарушает. До 2025 года инструмент назывался AI Audit.
Возможности
- Аналитика AI-ботов: GPTBot, ClaudeBot, PerplexityBot, Google-Extended и другие.
- Разрешение и блокировка каждого краулера одним переключателем.
- Проверка robots.txt: какие боты нарушают ваши правила.
- Свой ответ для ботов, например с условиями лицензирования контента.
- Pay per crawl: плата за доступ краулеров, пока в ограниченном доступе.
Кому подходит
Медиа, блогам и сайтам компаний, которые решают, каким нейросетям отдавать контент: для видимости в AI-поиске или для защиты от обучения моделей.
Как начать
Подключите сайт к Cloudflare, откройте раздел AI Crawl Control и посмотрите, какие боты заходят. Затем решите, кого пускать, а кого блокировать.
Совет
Не блокируйте всех AI-ботов разом. Поисковые краулеры вроде OAI-SearchBot и PerplexityBot приводят цитирование в ответах нейросетей, а боты для обучения моделей трафика не дают.
Ограничения
Работает только для сайтов, подключённых к Cloudflare. В России сервисы Cloudflare замедляются, поэтому для российской аудитории такая схема рискованна.