Screaming Frog SEO Spider — десктопная программа для технического аудита сайта. Она обходит сайт как поисковый робот и собирает данные о каждой странице: коды ответа, заголовки, мета-теги, ссылки, редиректы, canonical и многое другое.
Программу делает британское агентство Screaming Frog. Для технических SEO-специалистов это один из главных рабочих инструментов.
Возможности
- Поиск битых ссылок, редиректов и ошибок сервера.
- Мета-теги и заголовки: пустые, дублированные, слишком длинные.
- Canonical, hreflang, директивы robots и noindex.
- Рендеринг JavaScript для сайтов на React, Vue и других фреймворках.
- Генерация sitemap.xml.
- Пользовательское извлечение данных через XPath и CSS-селекторы.
- Интеграции с Google Analytics, Search Console и PageSpeed Insights.
- Визуализация структуры сайта и внутренних ссылок.
Кому подходит
SEO-специалистам, разработчикам и владельцам сайтов, которые готовят переезд, редизайн или ищут технические причины падения трафика. Бесплатной версии хватает для небольших сайтов и лендингов.
Как начать
Скачайте программу для Windows, macOS или Linux, вставьте адрес сайта и запустите сканирование. Начните с вкладок «Response Codes», «Page Titles» и «Directives».
Совет
Перед переездом сайта сохраните полный обход старой версии. После запуска новой сравните списки URL: так вы найдёте страницы без редиректов, которые иначе потеряли бы трафик.
Ограничения
На очень больших сайтах программе нужно много оперативной памяти. Для них включают режим хранения данных на диске.
Частый вопрос
Чем заменить Screaming Frog? Похожие краулеры — Netpeak Spider и Sitebulb. Облачные сервисы вроде Labrika и PR-CY проще, но дают меньше контроля.