Никита АлимпиевNikAlimp

ClaudeBot

краулер Anthropic

ClaudeBot — робот компании Anthropic, который обходит общедоступные страницы для моделей Claude. Как и другие AI-краулеры, он учитывает правила robots.txt.

Кто такой ClaudeBot

Anthropic — американская компания, которая с 2021 года разрабатывает языковые модели Claude. Чтобы модели знали актуальный интернет, компании нужен собственный робот для обхода сайтов. ClaudeBot собирает общедоступные страницы, которые могут попасть в обучающие данные будущих моделей. Anthropic заявляет, что робот не обходит страницы за авторизацией и соблюдает robots.txt.

Другие роботы Anthropic

У компании несколько агентов с разными задачами:

  • ClaudeBot — сбор данных для обучения моделей.
  • Claude-SearchBot — индексация страниц для поиска, которым пользуется Claude при ответах.
  • Claude-User — загрузка страницы, когда пользователь просит Claude прочитать ссылку или найти информацию.

Каждого робота настраивают отдельной секцией в robots.txt. Например, можно закрыть ClaudeBot, если компания не хочет попадать в обучающие данные, и оставить Claude-SearchBot и Claude-User, чтобы сайт появлялся в ответах с поиском.

Пример настройки

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Как ClaudeBot ведёт себя на сайте

Робот представляется в заголовке User-Agent строкой с именем ClaudeBot и контактным адресом Anthropic. Он соблюдает директивы Allow и Disallow и не пытается обойти ограничения доступа. Если нагрузка от робота кажется высокой, её можно снизить правилами в robots.txt или настройками хостинга, не закрывая доступ полностью.

Почему это важно бизнесу

Claude используют для исследований, сравнения поставщиков и подготовки отчётов. Если роботы Anthropic закрыты, модель знает о компании только из чужих текстов и не может сослаться на сайт. При этом многие хостинги и CDN блокируют незнакомых роботов по умолчанию. Проверьте логи сервера: если визитов ClaudeBot нет совсем, причина может быть в защите от ботов, а не в robots.txt. На сайтах NikAlimp роботы Anthropic открыты по умолчанию.

Связанные термины

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.