Никита АлимпиевNikAlimp

YandexBot

YandexBot — основной поисковый робот Яндекса: он обходит страницы сайтов, читает их содержимое и передаёт в индекс, из которого строится выдача Яндекса.

Робот заходит на сайт по ссылкам и по адресам из sitemap.xml, скачивает HTML и связанные файлы и решает, что добавить в Индекс. Как часто он приходит, зависит от размера сайта, скорости ответа сервера и того, как часто обновляется контент. У Яндекса есть и другие роботы: для картинок, для Метрики, для рекламы. Основной определяется в логах сервера по User-agent со словом YandexBot.

Что можно настроить: через robots.txt разрешить или закрыть разделы, через Sitemap.xml подсказать адреса, а в Яндекс Вебмастере отправить страницу на переобход.

Для владельца сайта YandexBot важен по двум причинам. Во-первых, он определяет, как быстро новые и обновлённые страницы появятся в поиске Яндекса: если робот не может зайти на страницу, её не будет и в выдаче. Во-вторых, он расходует ресурсы сервера. На больших сайтах поведение робота стоит отслеживать в логах: так видно, какие разделы он посещает чаще всего, а какие игнорирует, и не тратит ли он время на технические страницы и дубли. Если нужно, часть разделов закрывают от обхода, чтобы робот приходил на важные страницы.

Как проверить, что это настоящий YandexBot

  1. Найдите в логах сервера IP-адрес, с которого пришёл запрос с User-agent YandexBot.
  2. Сделайте обратный DNS-запрос по этому IP: имя хоста должно заканчиваться на yandex.ru, yandex.net или yandex.com.
  3. Сделайте прямой DNS-запрос по полученному имени и убедитесь, что он вернул тот же IP.
  4. Если проверка не прошла, это подделка под робота. Её можно блокировать на уровне сервера.

Типичные ошибки

  • Закрывают сайт от роботов в robots.txt на время разработки и забывают открыть.
  • Блокируют по User-agent всех «подозрительных» ботов вместе с настоящим YandexBot.
  • Сервер отвечает медленно или отдаёт 5xx, и робот реже заходит на сайт.
  • Не проверяют отчёты о доступности страниц в Вебмастере.

Чем отличается от Googlebot

Это два разных робота разных систем. Их правила обхода похожи, но директивы и отчёты у каждого свои: Яндекс понимает Clean-param, Google такую директиву не использует. Для сайта на российский рынок нужно, чтобы доступ получили оба.

Частый вопрос

Как понять, что YandexBot заходит на сайт? Откройте логи сервера и найдите строки с User-agent YandexBot, либо посмотрите статистику обхода в Яндекс Вебмастере. Если обращений нет, проверьте robots.txt, доступность сервера и наличие внешних ссылок на сайт.

Аудит сайта

Разберу ваш сайт и скажу, что мешает заявкам

Пришлите адрес сайта. Проверю индексацию, тексты, разметку и доступ для нейросетей и пришлю главные исправления по приоритету. Бесплатно.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.