Googlebot — это поисковый робот Google, который обходит страницы сайтов, скачивает их содержимое и передаёт в индекс.
Робот переходит по ссылкам, читает sitemap.xml и собирает HTML, CSS и JavaScript. Затем Google анализирует страницы и решает, показывать ли их в поиске. Если Googlebot не может открыть страницу, её не будет в выдаче.
Есть несколько вариантов робота. Основным для индексации сегодня служит Googlebot Smartphone: Google в первую очередь оценивает мобильную версию сайта. Для изображений, видео и рекламы существуют отдельные боты со своими названиями. У Яндекса есть собственный робот, YandexBot.
Как сайт взаимодействует с роботом
- robots.txt (robots.txt) разрешает или запрещает обход разделов.
- Мета-тег Noindex запрещает добавлять страницу в индекс.
- Sitemap.xml подсказывает, какие страницы важны.
- Скорость и ошибки сервера влияют на частоту визитов: Google сам регулирует нагрузку.
Как проверить, что робот видит страницу
- Откройте Google Search Console и воспользуйтесь инструментом «Проверка URL».
- Посмотрите, получил ли Google страницу и как её отрисовал.
- Изучите логи сервера: запросы с User-Agent Googlebot.
- Убедитесь в подлинности визитов: подделать User-Agent просто, поэтому настоящий Googlebot определяют по обратному DNS-запросу.
Типичные ошибки
- Закрыть CSS и JS в robots.txt: робот не сможет правильно отрисовать страницу.
- Запретить в robots.txt страницу и ожидать, что она пропадёт из выдачи. Закрытая страница может остаться в индексе по ссылкам, для удаления нужен noindex.
- Блокировать «подозрительные» IP, из-за чего реального робота не пускают.
- Не следить за ошибками 5xx, из-за которых робот снижает частоту обхода.
Чем отличается от Google-Extended
Google-Extended — не отдельный робот, а директива в robots.txt. Она управляет использованием материалов сайта для обучения ИИ-моделей Google и не влияет на обычную индексацию Googlebot.
Кому и когда это нужно
Работать с Googlebot приходится SEO-специалистам, разработчикам и владельцам сайтов, когда страницы не попадают в поиск, сайт переезжает или запускается новая версия. Знание принципов обхода помогает быстро найти причину: страница закрыта, недоступна, медленно отвечает или не рендерится. Для небольших сайтов управление ботом сводится к корректным robots.txt, sitemap и быстрому серверу.
Частый вопрос
Как часто Googlebot заходит на сайт? Это зависит от размера сайта, авторитета и частоты обновления. Новостной сайт обходят чаще, статичную визитку реже. Ускорить обход помогают быстрый сервер, чёткая структура, sitemap и ссылки на новые страницы.