Scrapy — бесплатный фреймворк на Python для парсинга сайтов: обходит страницы, извлекает данные по CSS- и XPath-селекторам и сохраняет их в JSON, CSV или базу.
Главное отличие от разовых скриптов — асинхронный движок и готовая архитектура: очередь запросов, повторы, ограничение скорости, конвейеры обработки. Один паук обходит тысячи страниц в минуту.
Возможности
- Пауки: классы с правилами обхода и извлечения данных.
- Селекторы CSS и XPath и интерактивная оболочка для их проверки.
- Конвейеры для очистки, проверки и сохранения данных.
- Экспорт в JSON, CSV, XML и облачные хранилища.
- Расширения: scrapy-playwright для JavaScript-страниц, мониторинг и MCP-сервер для AI-агентов.
Кому подходит
Python-разработчикам и аналитикам данных, которые регулярно собирают каталоги, цены, объявления или новости с десятков сайтов.
Как начать
Установите pip install scrapy, создайте проект командой scrapy startproject и напишите первого паука. Отладьте селекторы в scrapy shell, затем запустите обход с выгрузкой в JSON.
Совет
Задайте задержку между запросами и включите AutoThrottle. Так сайт не заблокирует вас, а вы не создадите лишнюю нагрузку на чужой сервер.
Ограничения
Нужен Python. Страницы на JavaScript требуют Playwright через расширение. От серьёзной антибот-защиты нужны прокси, например ScraperAPI или Bright Data. Без кода быстрее Octoparse.