Индекс — это база данных поисковой системы, в которой хранится информация о страницах, найденных и обработанных роботом. Выдача формируется только из страниц, попавших в индекс.
Поисковый робот обходит сайт и скачивает страницы. Затем поисковик анализирует содержимое: тексты, заголовки, ссылки, изображения. Если страница подходит, она добавляется в индекс. Этот процесс называют индексацией. Когда пользователь вводит запрос, поисковик ищет подходящие записи в индексе и ранжирует их.
Страница может не попасть в индекс по разным причинам: закрыта в robots.txt или тегом noindex, отвечает ошибкой, признана дублем или малополезной, слишком новая и робот ещё не пришёл. Один и тот же сайт может быть в индексе Яндекса и отсутствовать в Google, потому что у каждой системы свой индекс.
Размер индекса сайта тоже говорит о его состоянии. Если страниц в индексе намного меньше, чем на сайте, часть контента не попадает в поиск. Если страниц в индексе больше, чем реально нужных, значит в него попали дубли, технические адреса или мусор. Хорошая цель — чтобы в индексе были все важные страницы и только они. Следите за этим по отчётам Вебмастера и Search Console: они показывают причины исключения для каждой страницы.
Как проверить, что страница в индексе
- Откройте Яндекс Вебмастер, раздел «Страницы в поиске», и найдите адрес. Для Google используйте Search Console и инструмент проверки URL.
- Введите в Google запрос
site:адрес-страницы: если страница есть, она появится. - Если страницы нет, проверьте robots.txt, мета-теги, ответ сервера, наличие в Sitemap.xml.
- Отправьте страницу на переобход в Вебмастере или запросите индексацию в Search Console.
Типичные ошибки
- Оставить сайт закрытым от индексации после запуска.
- Ждать, что поисковик найдёт страницу без единой ссылки.
- Индексировать технические страницы, фильтры и дубли.
- Путать наличие в индексе с наличием в топе: страница может быть в индексе, но не ранжироваться.
Чем отличается от выдачи
Индекс — база всех известных страниц. Выдача — результаты по конкретному запросу. В выдаче всегда меньше страниц, чем в индексе.
Частый вопрос
Сколько ждать попадания в индекс? От нескольких часов до нескольких недель. Скорость зависит от авторитета сайта, ссылок на страницу и того, как часто его обходит робот. Ускорить помогают sitemap.xml, внутренние ссылки и отправка адреса в Вебмастер.