Oncrawl — это облачный краулер для технического SEO с анализом серверных логов. Он сканирует сайт как поисковый робот и показывает, какие страницы реально видит и посещает Google. С 2022 года Oncrawl принадлежит BrightEdge.
Главное отличие — анализ логов вместе с краулингом. Сопоставление данных сканирования и логов показывает страницы, которые робот обходит зря, и важные страницы, до которых он не доходит.
Возможности
- Облачный краулинг больших сайтов с JavaScript-рендерингом.
- Анализ логов: визиты поисковых роботов по разделам и типам страниц.
- Перелинковка: глубина, внутренний PageRank, сироты.
- Сегментация сайта по разделам и шаблонам.
- Сравнение сканирований до и после изменений.
- Интеграции с Google Search Console и Google Analytics 4.
Кому подходит
SEO-специалистам крупных сайтов: интернет-магазинов, медиа, агрегаторов с десятками тысяч страниц.
Как начать
Запустите первое сканирование с ограничением по страницам и разбейте сайт на сегменты. Затем подключите логи и сравните, какие разделы робот посещает чаще.
Совет
Ищите страницы, которые робот посещает, но которые не приносят трафика: закрытие их от сканирования освобождает краулинговый бюджет для важных разделов.
Ограничения
Дорого для небольших сайтов: там хватит Screaming Frog SEO Spider или Sitebulb. Порог входа высокий. Для рунета и анализа логов есть JetOctopus.