Никита АлимпиевNikAlimp

Cloudflare AI Crawl Control или Dark Visitors: что выбрать

Cloudflare AI Crawl Control и Dark Visitors — сервисы одной категории «AI-краулеры и доступ к контенту». Cloudflare AI Crawl Control — владельцам сайтов на Cloudflare, которые управляют доступом нейросетей к контенту. Dark Visitors — SEO- и GEO-специалистам, которые хотят видеть AI-ботов на сайте и управлять их доступом.

Cloudflare AI Crawl ControlDark Visitors
ЦенаБазовые функции доступны на всех тарифах Cloudflare, включая бесплатныйFreemium: бесплатный план на 1 проект и 100 000 событий в месяц, платные — от $29 в месяц
Бесплатный планестьесть
Работа из РоссииРаботает в РоссииРаботает в России
Русский языкнетнет
ПлатформыВеб, APIВеб, API
ИтогСамый простой способ увидеть AI-ботов на сайте и решить, кого из них пускать.Удобный способ увидеть AI-краулеров на сайте и держать robots.txt в актуальном состоянии.
Cloudflare AI Crawl Control

Cloudflare AI Crawl Control — это раздел Cloudflare, который показывает, какие AI-краулеры заходят на сайт, сколько страниц они забирают, и позволяет разрешать или блокировать каждого из них.

Кому подходит: Владельцам сайтов на Cloudflare, которые управляют доступом нейросетей к контенту.

Кому не подходит: Сайтам с основной аудиторией в России и сайтам не на Cloudflare.

Плюсы

  • Работает на бесплатном тарифе
  • Видно каждого AI-бота и число его запросов
  • Блокировка на уровне сети, а не просьба в robots.txt
  • Видно, кто нарушает правила robots.txt

Минусы

  • Только для сайтов на Cloudflare
  • Замедление Cloudflare в России
  • Pay per crawl пока доступен не всем

Тарифы

ТарифЦенаЧто входит
FreeбесплатноАналитика AI-ботов, блокировка
Pro и Businessпо тарифам CloudflareРасширенная аналитика и правила
Enterpriseпо запросуТонкие правила, Pay per crawl
cloudflare.com/ai-crawl-control
Dark Visitors

Dark Visitors — это сервис, который отслеживает AI-ботов и агентов на сайте и автоматически поддерживает robots.txt со списком актуальных краулеров. Сейчас сервис называется Known Agents.

Кому подходит: SEO- и GEO-специалистам, которые хотят видеть AI-ботов на сайте и управлять их доступом.

Кому не подходит: Тем, кому достаточно ручного robots.txt и отчётов Яндекс Вебмастера.

Плюсы

  • Подробный справочник AI-агентов
  • Аналитика визитов ботов и переходов из AI-чатов
  • Автоматическое обновление robots.txt
  • Бесплатного плана хватает небольшому сайту

Минусы

  • Блокировка ботов и экспорт — только на платных тарифах
  • Оплата только зарубежной картой
  • Смена названия путает: в поиске встречаются оба бренда

Тарифы

ТарифЦенаЧто входит
Free$01 проект, 100 000 событий, автоматический robots.txt
Startup$29/мес3 проекта, 1 млн событий, блокировка ботов, экспорт
Growth$299/мес10 проектов, 10 млн событий
Enterpriseпо запросуБез лимита проектов, API отчётов
knownagents.com

Подробно — на страницах Cloudflare AI Crawl Control и Dark Visitors.

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.