Cloudflare AI Crawl Control или Dark Visitors: что выбрать
Cloudflare AI Crawl Control и Dark Visitors — сервисы одной категории «AI-краулеры и доступ к контенту». Cloudflare AI Crawl Control — владельцам сайтов на Cloudflare, которые управляют доступом нейросетей к контенту. Dark Visitors — SEO- и GEO-специалистам, которые хотят видеть AI-ботов на сайте и управлять их доступом.
| Cloudflare AI Crawl Control | Dark Visitors | |
|---|---|---|
| Цена | Базовые функции доступны на всех тарифах Cloudflare, включая бесплатный | Freemium: бесплатный план на 1 проект и 100 000 событий в месяц, платные — от $29 в месяц |
| Бесплатный план | есть | есть |
| Работа из России | Работает в России | Работает в России |
| Русский язык | нет | нет |
| Платформы | Веб, API | Веб, API |
| Итог | Самый простой способ увидеть AI-ботов на сайте и решить, кого из них пускать. | Удобный способ увидеть AI-краулеров на сайте и держать robots.txt в актуальном состоянии. |
Cloudflare AI Crawl Control — это раздел Cloudflare, который показывает, какие AI-краулеры заходят на сайт, сколько страниц они забирают, и позволяет разрешать или блокировать каждого из них.
Кому подходит: Владельцам сайтов на Cloudflare, которые управляют доступом нейросетей к контенту.
Кому не подходит: Сайтам с основной аудиторией в России и сайтам не на Cloudflare.
Плюсы
- Работает на бесплатном тарифе
- Видно каждого AI-бота и число его запросов
- Блокировка на уровне сети, а не просьба в robots.txt
- Видно, кто нарушает правила robots.txt
Минусы
- Только для сайтов на Cloudflare
- Замедление Cloudflare в России
- Pay per crawl пока доступен не всем
Тарифы
| Тариф | Цена | Что входит |
|---|---|---|
| Free | бесплатно | Аналитика AI-ботов, блокировка |
| Pro и Business | по тарифам Cloudflare | Расширенная аналитика и правила |
| Enterprise | по запросу | Тонкие правила, Pay per crawl |
Dark Visitors — это сервис, который отслеживает AI-ботов и агентов на сайте и автоматически поддерживает robots.txt со списком актуальных краулеров. Сейчас сервис называется Known Agents.
Кому подходит: SEO- и GEO-специалистам, которые хотят видеть AI-ботов на сайте и управлять их доступом.
Кому не подходит: Тем, кому достаточно ручного robots.txt и отчётов Яндекс Вебмастера.
Плюсы
- Подробный справочник AI-агентов
- Аналитика визитов ботов и переходов из AI-чатов
- Автоматическое обновление robots.txt
- Бесплатного плана хватает небольшому сайту
Минусы
- Блокировка ботов и экспорт — только на платных тарифах
- Оплата только зарубежной картой
- Смена названия путает: в поиске встречаются оба бренда
Тарифы
| Тариф | Цена | Что входит |
|---|---|---|
| Free | $0 | 1 проект, 100 000 событий, автоматический robots.txt |
| Startup | $29/мес | 3 проекта, 1 млн событий, блокировка ботов, экспорт |
| Growth | $299/мес | 10 проектов, 10 млн событий |
| Enterprise | по запросу | Без лимита проектов, API отчётов |
Подробно — на страницах Cloudflare AI Crawl Control и Dark Visitors.
GEO-аудит
Узнайте, что нейросети говорят о вашем бизнесе
Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.
Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.