Dark Visitors — это сервис, который отслеживает AI-ботов и агентов на сайте и автоматически поддерживает robots.txt со списком актуальных краулеров. Сейчас сервис называется Known Agents.
Главное отличие — справочник известных AI-агентов с описанием, кто их запускает и зачем, плюс аналитика визитов этих ботов на вашем сайте.
Возможности
- Справочник агентов: GPTBot, ClaudeBot, PerplexityBot и сотни других с назначением и владельцем.
- Аналитика агентов: какие боты заходят, какие страницы читают.
- Переходы из AI-чатов: сколько посетителей пришло из ChatGPT, Perplexity и других ассистентов.
- Автоматический robots.txt: список ботов обновляется сам.
- Блокировка плохих ботов и проверка robots.txt — на платных тарифах.
Кому подходит
SEO- и GEO-специалистам, которые решают, каких AI-ботов пускать на сайт, и хотят видеть, читают ли нейросети их контент.
Как начать
Зарегистрируйтесь, создайте проект и подключите сайт через плагин для WordPress, middleware или серверную интеграцию. Первые визиты ботов появятся в отчёте в течение дня.
Совет
Не закрывайте всех AI-ботов подряд: поисковые агенты вроде OAI-SearchBot приводят трафик из ответов нейросетей. Блокируйте только тех, кто собирает данные для обучения, если это важно для бизнеса.
Ограничения
В бесплатном плане жёсткий лимит событий и нет экспорта. Российские боты — YandexBot и краулеры GigaChat — в справочнике есть, но аналитика по ним проще в Яндекс Вебмастер.