Никита АлимпиевNikAlimp

Краулинг

Crawling

Краулинг (crawling) — это обход сайта поисковым роботом: он переходит по ссылкам, скачивает страницы и собирает данные для индекса. Само слово пришло от английского crawl — ползти: робота ещё называют краулером или пауком.

Работа начинается с известных адресов: главной страницы, карты сайта, ссылок с других сайтов. Робот открывает страницу, читает её код и находит новые ссылки, которые добавляет в очередь. Частоту обхода определяют сам поисковик и его оценка сайта: часто обновляемые и значимые сайты посещают чаще, редкие и медленные — реже. Количество страниц, которое робот готов обойти за период, называется краулинговым бюджетом.

Краулинг идёт до индексации: сначала страницу нужно скачать, и только потом принимается решение, попадёт ли она в индекс. Если робот не может дойти до страницы или получает ошибку, дальше процесс остановится.

Что мешает краулингу

  • Запрет в robots.txt.
  • Ошибки сервера (5xx) и долгие ответы.
  • Страницы без внутренних ссылок.
  • Бесконечные цепочки редиректов, см. Цепочка редиректов.
  • Сайт, где контент появляется только после работы скриптов в браузере.
  • Зацикленные фильтры и календари, которые порождают миллионы адресов.

Как проверить, как краулят ваш сайт

  1. В Яндекс Вебмастере откройте «Статистика обхода» и посмотрите число запросов робота и коды ответов.
  2. В Google Search Console найдите «Статистика сканирования».
  3. Проанализируйте серверные логи: там видны визиты YandexBot и Googlebot, какие адреса они запрашивали и что получили.
  4. Запустите собственный краулер, например Screaming Frog, чтобы увидеть сайт глазами робота.

Как улучшить краулинг

  • Ускорьте ответы сервера.
  • Добавьте внутреннюю перелинковку на важные страницы.
  • Закройте от обхода служебные и дублирующие адреса.
  • Держите актуальную карту сайта.
  • Уберите битые ссылки и лишние редиректы.

Типичные ошибки

  • Считать, что обход гарантирует попадание в поиск.
  • Закрывать в robots.txt страницы, которые нужно убрать из индекса: запрет обхода не убирает их из индекса, для этого нужен noindex.
  • Не смотреть логи и отчёты.

Чем отличается от индексации

Краулинг — это загрузка страницы, индексация — решение положить её в базу поиска. Робот может обойти страницу и не добавить её в индекс, если сочтёт её дублем или низкого качества. Поэтому при проблемах сначала определите, на каком шаге ломается процесс.

Частый вопрос

Как часто робот заходит на сайт? Это зависит от размера и значимости сайта, скорости обновлений и состояния сервера. Малые сайты могут обходиться раз в несколько дней, крупные новостные — многократно в течение часа.

Аудит сайта

Разберу ваш сайт и скажу, что мешает заявкам

Пришлите адрес сайта. Проверю индексацию, тексты, разметку и доступ для нейросетей и пришлю главные исправления по приоритету. Бесплатно.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.