ClaudeBot — робот компании Anthropic, который обходит общедоступные страницы для моделей Claude. Как и другие AI-краулеры, он учитывает правила robots.txt.
Кто такой ClaudeBot
Anthropic — американская компания, которая с 2021 года разрабатывает языковые модели Claude. Чтобы модели знали актуальный интернет, компании нужен собственный робот для обхода сайтов. ClaudeBot собирает общедоступные страницы, которые могут попасть в обучающие данные будущих моделей. Anthropic заявляет, что робот не обходит страницы за авторизацией и соблюдает robots.txt.
Другие роботы Anthropic
У компании несколько агентов с разными задачами:
- ClaudeBot — сбор данных для обучения моделей.
- Claude-SearchBot — индексация страниц для поиска, которым пользуется Claude при ответах.
- Claude-User — загрузка страницы, когда пользователь просит Claude прочитать ссылку или найти информацию.
Каждого робота настраивают отдельной секцией в robots.txt. Например, можно закрыть ClaudeBot, если компания не хочет попадать в обучающие данные, и оставить Claude-SearchBot и Claude-User, чтобы сайт появлялся в ответах с поиском.
Пример настройки
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
Как ClaudeBot ведёт себя на сайте
Робот представляется в заголовке User-Agent строкой с именем ClaudeBot и контактным адресом Anthropic. Он соблюдает директивы Allow и Disallow и не пытается обойти ограничения доступа. Если нагрузка от робота кажется высокой, её можно снизить правилами в robots.txt или настройками хостинга, не закрывая доступ полностью.
Почему это важно бизнесу
Claude используют для исследований, сравнения поставщиков и подготовки отчётов. Если роботы Anthropic закрыты, модель знает о компании только из чужих текстов и не может сослаться на сайт. При этом многие хостинги и CDN блокируют незнакомых роботов по умолчанию. Проверьте логи сервера: если визитов ClaudeBot нет совсем, причина может быть в защите от ботов, а не в robots.txt. На сайтах NikAlimp роботы Anthropic открыты по умолчанию.