Никита АлимпиевNikAlimp

Краулинговый бюджет

Crawl Budget

Краулинговый бюджет (crawl budget) — это количество страниц сайта, которое поисковый робот готов обойти за определённый период. Он складывается из двух величин: сколько запросов сервер выдержит без перегрузки и насколько поисковику интересно сканировать этот сайт.

У каждого сайта есть свой лимит. Если страниц немного, бюджета хватает на все. Проблемы начинаются у крупных ресурсов — интернет-магазинов, каталогов, порталов с десятками и сотнями тысяч адресов. Если робот тратит силы на дубли, страницы фильтров и мусорные адреса, то важные страницы будут обходиться реже, а новые — позже попадать в индекс.

Термин используется прежде всего в Google, который прямо описывает его в документации. Яндекс устроен схоже: у робота есть ограничения на нагрузку, и в Вебмастере есть статистика обхода и настройка скорости. Для сайтов до нескольких тысяч страниц тема обычно не критична.

На что тратится бюджет впустую

  • Дубли страниц и параметры в адресах (сортировка, метки, сессии).
  • Страницы фильтров без ценности для поиска.
  • Цепочки редиректов и битые ссылки, см. Ошибка 404.
  • Страницы с низким качеством и пустым содержимым.
  • Медленные ответы сервера.

Как оптимизировать бюджет

  1. Откройте «Статистику обхода» в Яндекс Вебмастере и «Статистику сканирования» в Search Console, найдите долю бесполезных адресов.
  2. Закройте лишнее в robots.txt и склейте дубли через Canonical или редиректы.
  3. Уберите из карты сайта всё, что не должно быть в поиске.
  4. Ускорьте сервер и страницы.
  5. Улучшите внутренние ссылки: важные страницы должны быть в 2⁠–⁠3 кликах от главной.
  6. Исправьте цепочки редиректов.

Кому и когда это важно

Если у сайта несколько тысяч страниц и более, быстрые обновления (новости, товары) или в отчётах много страниц «обнаружена, но не проиндексирована». Небольшому сайту-визитке обычно достаточно хорошей структуры и работающего сервера.

Типичные ошибки

  • Закрывать в robots.txt страницы, которые нужно убрать из индекса: робот не увидит там noindex.
  • Мерить бюджет по ощущениям, не заглядывая в отчёты и логи.
  • Считать, что можно купить краулинговый бюджет: его нельзя попросить у поисковика.

Частый вопрос

Можно ли увеличить краулинговый бюджет? Напрямую нет, но можно повлиять: ускорить сервер, убрать мусор, добавить полезный контент и внешние ссылки. Тогда робот будет заходить чаще и тратить время на важные страницы.

Аудит сайта

Разберу ваш сайт и скажу, что мешает заявкам

Пришлите адрес сайта. Проверю индексацию, тексты, разметку и доступ для нейросетей и пришлю главные исправления по приоритету. Бесплатно.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.