YandexBot — основной поисковый робот Яндекса: он обходит страницы сайтов, читает их содержимое и передаёт в индекс, из которого строится выдача Яндекса.
Робот заходит на сайт по ссылкам и по адресам из sitemap.xml, скачивает HTML и связанные файлы и решает, что добавить в Индекс. Как часто он приходит, зависит от размера сайта, скорости ответа сервера и того, как часто обновляется контент. У Яндекса есть и другие роботы: для картинок, для Метрики, для рекламы. Основной определяется в логах сервера по User-agent со словом YandexBot.
Что можно настроить: через robots.txt разрешить или закрыть разделы, через Sitemap.xml подсказать адреса, а в Яндекс Вебмастере отправить страницу на переобход.
Для владельца сайта YandexBot важен по двум причинам. Во-первых, он определяет, как быстро новые и обновлённые страницы появятся в поиске Яндекса: если робот не может зайти на страницу, её не будет и в выдаче. Во-вторых, он расходует ресурсы сервера. На больших сайтах поведение робота стоит отслеживать в логах: так видно, какие разделы он посещает чаще всего, а какие игнорирует, и не тратит ли он время на технические страницы и дубли. Если нужно, часть разделов закрывают от обхода, чтобы робот приходил на важные страницы.
Как проверить, что это настоящий YandexBot
- Найдите в логах сервера IP-адрес, с которого пришёл запрос с User-agent YandexBot.
- Сделайте обратный DNS-запрос по этому IP: имя хоста должно заканчиваться на yandex.ru, yandex.net или yandex.com.
- Сделайте прямой DNS-запрос по полученному имени и убедитесь, что он вернул тот же IP.
- Если проверка не прошла, это подделка под робота. Её можно блокировать на уровне сервера.
Типичные ошибки
- Закрывают сайт от роботов в robots.txt на время разработки и забывают открыть.
- Блокируют по User-agent всех «подозрительных» ботов вместе с настоящим YandexBot.
- Сервер отвечает медленно или отдаёт 5xx, и робот реже заходит на сайт.
- Не проверяют отчёты о доступности страниц в Вебмастере.
Чем отличается от Googlebot
Это два разных робота разных систем. Их правила обхода похожи, но директивы и отчёты у каждого свои: Яндекс понимает Clean-param, Google такую директиву не использует. Для сайта на российский рынок нужно, чтобы доступ получили оба.
Частый вопрос
Как понять, что YandexBot заходит на сайт? Откройте логи сервера и найдите строки с User-agent YandexBot, либо посмотрите статистику обхода в Яндекс Вебмастере. Если обращений нет, проверьте robots.txt, доступность сервера и наличие внешних ссылок на сайт.