Индексация — это процесс, в котором поисковая система добавляет страницу сайта в свой индекс: базу данных, из которой берутся результаты поиска. Страница, которой нет в индексе, в выдаче не появится ни по какому запросу.
Путь страницы выглядит так: Поисковый робот находит адрес (по ссылке или через Sitemap.xml), скачивает страницу, разбирает текст, заголовки, ссылки и разметку, а затем решает, класть ли её в индекс. Первый этап называется Краулинг, второй — собственно индексация. То, что робот страницу посетил, ещё не значит, что она попала в индекс: поисковик может отбросить дубль, пустую или слабую страницу.
После попадания в индекс страница начинает участвовать в ранжировании. Позицию она получает уже на следующем шаге — индексация сама по себе гарантирует только право участвовать в выдаче.
Как проверить индексацию
- В Яндекс Вебмастере откройте раздел «Индексирование» и посмотрите «Страницы в поиске» — там видны загруженные и исключённые страницы с причинами.
- В Google Search Console введите адрес в «Проверку URL» или откройте отчёт «Индексирование страниц».
- Для быстрой проверки введите в поиск
site:ваш-сайт.ru— получите примерный список страниц в индексе. - Сравните число страниц в индексе с числом страниц, которые должны там быть.
Как ускорить индексацию
- Отправьте новый адрес через «Переобход страниц» в Вебмастере или «Проверку URL» в Search Console.
- Добавьте страницу в карту сайта и поставьте на неё внутренние ссылки с уже проиндексированных страниц.
- Убедитесь, что сайт быстро отвечает и не отдаёт ошибки сервера.
Типичные ошибки
- Страница закрыта в robots.txt или в теге noindex по забытой настройке после разработки.
- Много дублей и мусорных адресов с параметрами — они забирают внимание робота.
- Контент появляется только после выполнения JavaScript, а робот видит пустую страницу.
- Новая страница без единой внутренней ссылки: робот просто не знает о ней.
Чем отличается от краулинга и ранжирования
Краулинг — это обход страниц роботом, индексация — решение положить страницу в базу, ранжирование — расстановка страниц в выдаче по конкретному запросу. Страница может быть обойдена, но не проиндексирована, а проиндексированная — стоять на 50-й позиции. Поэтому при проблемах сначала выясните, на каком из трёх шагов всё застряло: от этого зависит, что чинить.
Частый вопрос
Почему страница есть на сайте, но не индексируется? Чаще всего причина одна из трёх: страницу запретили к индексации, поисковик счёл её дублем или слабой, либо робот ещё не дошёл до неё. Откройте отчёт об индексации в Вебмастере или Search Console — там указана конкретная причина исключения.