Никита АлимпиевNikAlimp

Индексация

Indexing

Индексация — это процесс, в котором поисковая система добавляет страницу сайта в свой индекс: базу данных, из которой берутся результаты поиска. Страница, которой нет в индексе, в выдаче не появится ни по какому запросу.

Путь страницы выглядит так: Поисковый робот находит адрес (по ссылке или через Sitemap.xml), скачивает страницу, разбирает текст, заголовки, ссылки и разметку, а затем решает, класть ли её в индекс. Первый этап называется Краулинг, второй — собственно индексация. То, что робот страницу посетил, ещё не значит, что она попала в индекс: поисковик может отбросить дубль, пустую или слабую страницу.

После попадания в индекс страница начинает участвовать в ранжировании. Позицию она получает уже на следующем шаге — индексация сама по себе гарантирует только право участвовать в выдаче.

Как проверить индексацию

  1. В Яндекс Вебмастере откройте раздел «Индексирование» и посмотрите «Страницы в поиске» — там видны загруженные и исключённые страницы с причинами.
  2. В Google Search Console введите адрес в «Проверку URL» или откройте отчёт «Индексирование страниц».
  3. Для быстрой проверки введите в поиск site:ваш-сайт.ru — получите примерный список страниц в индексе.
  4. Сравните число страниц в индексе с числом страниц, которые должны там быть.

Как ускорить индексацию

  • Отправьте новый адрес через «Переобход страниц» в Вебмастере или «Проверку URL» в Search Console.
  • Добавьте страницу в карту сайта и поставьте на неё внутренние ссылки с уже проиндексированных страниц.
  • Убедитесь, что сайт быстро отвечает и не отдаёт ошибки сервера.

Типичные ошибки

  • Страница закрыта в robots.txt или в теге noindex по забытой настройке после разработки.
  • Много дублей и мусорных адресов с параметрами — они забирают внимание робота.
  • Контент появляется только после выполнения JavaScript, а робот видит пустую страницу.
  • Новая страница без единой внутренней ссылки: робот просто не знает о ней.

Чем отличается от краулинга и ранжирования

Краулинг — это обход страниц роботом, индексация — решение положить страницу в базу, ранжирование — расстановка страниц в выдаче по конкретному запросу. Страница может быть обойдена, но не проиндексирована, а проиндексированная — стоять на 50-й позиции. Поэтому при проблемах сначала выясните, на каком из трёх шагов всё застряло: от этого зависит, что чинить.

Частый вопрос

Почему страница есть на сайте, но не индексируется? Чаще всего причина одна из трёх: страницу запретили к индексации, поисковик счёл её дублем или слабой, либо робот ещё не дошёл до неё. Откройте отчёт об индексации в Вебмастере или Search Console — там указана конкретная причина исключения.

Аудит сайта

Разберу ваш сайт и скажу, что мешает заявкам

Пришлите адрес сайта. Проверю индексацию, тексты, разметку и доступ для нейросетей и пришлю главные исправления по приоритету. Бесплатно.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.