AI-краулер — робот, который обходит сайты для компаний, разрабатывающих нейросети: чтобы собрать данные для обучения моделей или найти страницы для ответа в реальном времени.
Примеры: GPTBot и OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (управление использованием данных в Gemini), YandexAdditional (Яндекс). Доступ для них настраивают в robots.txt. Если закрыть AI-краулеры, сайт не сможет попасть в ответы соответствующих нейросетей.
Как появились AI-краулеры
Первые массовые обходы веба для машинного обучения делал проект Common Crawl. С 2008 года его робот CCBot собирает открытый архив интернета, на котором обучались многие языковые модели. В августе 2023 года OpenAI представила собственного робота GPTBot и описала, как его закрыть. Вскоре свои токены и роботы объявили Google, Anthropic, Perplexity, Apple и Яндекс. Сегодня у крупных компаний обычно несколько роботов: для обучения, для поиска в реальном времени и для загрузки страницы по просьбе пользователя.
Три типа AI-роботов
- Для обучения: GPTBot, ClaudeBot, CCBot, токен Google-Extended. Собирают тексты, на которых учатся будущие версии моделей.
- Для поиска: OAI-SearchBot, PerplexityBot, Claude-SearchBot. Индексируют страницы, чтобы показывать их в ответах со ссылками.
- По запросу пользователя: ChatGPT-User, Claude-User, Perplexity-User. Открывают конкретную страницу, когда пользователь просит модель прочитать ссылку.
Как настроить доступ
Правила задают в robots.txt отдельной секцией User-agent для каждого робота. Бизнесу, которому нужны клиенты из нейросетей, разумно открыть поисковых роботов и роботов по запросу. Роботов для обучения можно закрыть, если компания не хочет, чтобы её тексты попадали в обучающие данные. Учтите, что модели тогда будут знать о бренде меньше.
Как проверить, что роботы приходят
Посмотрите логи сервера: строки с именами роботов в поле User-Agent. Если хостинг не даёт логов, помогут сервисы аналитики ботов. Отсутствие визитов — повод проверить robots.txt, защиту от ботов у хостинга или CDN и скорость ответа сервера.