Дубли страниц — это страницы одного сайта с одинаковым или почти одинаковым содержимым, доступные по разным адресам.
Дубли возникают незаметно. Страница может открываться с www и без, по http и https, со слэшем и без, с параметрами фильтров и меток (?utm_source=, ?sort=price), в версиях для печати. Для человека это одна страница, а для поискового робота — несколько разных, между которыми нужно выбрать. Это путает поисковик, расходует краулинговый бюджет и размывает вес: ссылки и сигналы делятся между копиями, в выдачу может попасть не та версия, а иногда страницы конкурируют между собой.
Особое внимание дублям уделяют интернет-магазины. Карточки с разными цветами и размерами, страницы фильтров, сортировки и пагинации могут породить тысячи похожих адресов. Для них продумывают правила: какие комбинации фильтров нужны для продвижения и должны быть доступны для индекса, а какие закрываются. Тот же принцип относится к блогам с рубриками и тегами: если страница тега повторяет рубрику, она создаёт дубли без пользы.
Виды дублей
- Полные: содержимое страницы совпадает полностью.
- Частичные: большая часть текста одинаковая, меняется небольшой блок, например пагинация или карточки товаров с разными размерами.
- Технические: страницы с параметрами и метками, зеркала сайта.
Как найти дубли
- Просканируйте сайт краулером и сравните заголовки и содержимое страниц.
- Посмотрите отчёты Яндекс Вебмастера и Google Search Console: там указаны страницы, исключённые как дубли.
- Проверьте адреса вручную: с
wwwи без, со слэшем и без. - Используйте поиск по цитате из текста, чтобы увидеть, сколько адресов отдаёт один фрагмент.
Как устранить
- Выберите главное зеркало и настройте 301 редирект с остальных вариантов.
- Для похожих страниц задайте Canonical на основную.
- Параметры без пользы закройте через Clean-param (в Яндексе) или
noindex. См. Noindex. - Уникализируйте страницы, которые должны быть самостоятельными.
- Не оставляйте пустые страницы тегов и фильтров открытыми для индекса.
Типичные ошибки
- Закрывать дубли в robots.txt: робот не увидит canonical и редиректы.
- Ставить canonical на несвязанные страницы.
- Оставлять старые адреса после смены структуры без редиректов.
Частый вопрос
Накажут ли за дубли? Поисковики обычно не штрафуют за технические дубли, но страницы хуже ранжируются, а в индексе остаётся не та версия. Массовое копирование чужого контента — уже риск. Лучше устранить дубли на уровне настроек.