Краулинг (crawling) — это обход сайта поисковым роботом: он переходит по ссылкам, скачивает страницы и собирает данные для индекса. Само слово пришло от английского crawl — ползти: робота ещё называют краулером или пауком.
Работа начинается с известных адресов: главной страницы, карты сайта, ссылок с других сайтов. Робот открывает страницу, читает её код и находит новые ссылки, которые добавляет в очередь. Частоту обхода определяют сам поисковик и его оценка сайта: часто обновляемые и значимые сайты посещают чаще, редкие и медленные — реже. Количество страниц, которое робот готов обойти за период, называется краулинговым бюджетом.
Краулинг идёт до индексации: сначала страницу нужно скачать, и только потом принимается решение, попадёт ли она в индекс. Если робот не может дойти до страницы или получает ошибку, дальше процесс остановится.
Что мешает краулингу
- Запрет в robots.txt.
- Ошибки сервера (5xx) и долгие ответы.
- Страницы без внутренних ссылок.
- Бесконечные цепочки редиректов, см. Цепочка редиректов.
- Сайт, где контент появляется только после работы скриптов в браузере.
- Зацикленные фильтры и календари, которые порождают миллионы адресов.
Как проверить, как краулят ваш сайт
- В Яндекс Вебмастере откройте «Статистика обхода» и посмотрите число запросов робота и коды ответов.
- В Google Search Console найдите «Статистика сканирования».
- Проанализируйте серверные логи: там видны визиты YandexBot и Googlebot, какие адреса они запрашивали и что получили.
- Запустите собственный краулер, например Screaming Frog, чтобы увидеть сайт глазами робота.
Как улучшить краулинг
- Ускорьте ответы сервера.
- Добавьте внутреннюю перелинковку на важные страницы.
- Закройте от обхода служебные и дублирующие адреса.
- Держите актуальную карту сайта.
- Уберите битые ссылки и лишние редиректы.
Типичные ошибки
- Считать, что обход гарантирует попадание в поиск.
- Закрывать в robots.txt страницы, которые нужно убрать из индекса: запрет обхода не убирает их из индекса, для этого нужен noindex.
- Не смотреть логи и отчёты.
Чем отличается от индексации
Краулинг — это загрузка страницы, индексация — решение положить её в базу поиска. Робот может обойти страницу и не добавить её в индекс, если сочтёт её дублем или низкого качества. Поэтому при проблемах сначала определите, на каком шаге ломается процесс.
Частый вопрос
Как часто робот заходит на сайт? Это зависит от размера и значимости сайта, скорости обновлений и состояния сервера. Малые сайты могут обходиться раз в несколько дней, крупные новостные — многократно в течение часа.