Краулинговый бюджет (crawl budget) — это количество страниц сайта, которое поисковый робот готов обойти за определённый период. Он складывается из двух величин: сколько запросов сервер выдержит без перегрузки и насколько поисковику интересно сканировать этот сайт.
У каждого сайта есть свой лимит. Если страниц немного, бюджета хватает на все. Проблемы начинаются у крупных ресурсов — интернет-магазинов, каталогов, порталов с десятками и сотнями тысяч адресов. Если робот тратит силы на дубли, страницы фильтров и мусорные адреса, то важные страницы будут обходиться реже, а новые — позже попадать в индекс.
Термин используется прежде всего в Google, который прямо описывает его в документации. Яндекс устроен схоже: у робота есть ограничения на нагрузку, и в Вебмастере есть статистика обхода и настройка скорости. Для сайтов до нескольких тысяч страниц тема обычно не критична.
На что тратится бюджет впустую
- Дубли страниц и параметры в адресах (сортировка, метки, сессии).
- Страницы фильтров без ценности для поиска.
- Цепочки редиректов и битые ссылки, см. Ошибка 404.
- Страницы с низким качеством и пустым содержимым.
- Медленные ответы сервера.
Как оптимизировать бюджет
- Откройте «Статистику обхода» в Яндекс Вебмастере и «Статистику сканирования» в Search Console, найдите долю бесполезных адресов.
- Закройте лишнее в robots.txt и склейте дубли через Canonical или редиректы.
- Уберите из карты сайта всё, что не должно быть в поиске.
- Ускорьте сервер и страницы.
- Улучшите внутренние ссылки: важные страницы должны быть в 2–3 кликах от главной.
- Исправьте цепочки редиректов.
Кому и когда это важно
Если у сайта несколько тысяч страниц и более, быстрые обновления (новости, товары) или в отчётах много страниц «обнаружена, но не проиндексирована». Небольшому сайту-визитке обычно достаточно хорошей структуры и работающего сервера.
Типичные ошибки
- Закрывать в robots.txt страницы, которые нужно убрать из индекса: робот не увидит там noindex.
- Мерить бюджет по ощущениям, не заглядывая в отчёты и логи.
- Считать, что можно купить краулинговый бюджет: его нельзя попросить у поисковика.
Частый вопрос
Можно ли увеличить краулинговый бюджет? Напрямую нет, но можно повлиять: ускорить сервер, убрать мусор, добавить полезный контент и внешние ссылки. Тогда робот будет заходить чаще и тратить время на важные страницы.