Никита АлимпиевNikAlimp

Scrapy

Scrapy — бесплатный фреймворк на Python для парсинга сайтов: обходит страницы, извлекает данные по CSS- и XPath-селекторам и сохраняет их в JSON, CSV или базу.

Работает в РоссииБесплатный план: естьРусский язык: нетПарсинг и сбор данных

Никита Алимпиев · проверено 09.11.2026

Кому подходит

Python-разработчикам, которые регулярно парсят много страниц и хотят надёжную архитектуру.

Кому не подходит

Тем, кто не пишет код или парсит пару страниц раз в месяц.

Итог

Самый зрелый бесплатный фреймворк для парсинга на Python.

Scrapy — бесплатный фреймворк на Python для парсинга сайтов: обходит страницы, извлекает данные по CSS- и XPath-селекторам и сохраняет их в JSON, CSV или базу.

Главное отличие от разовых скриптов — асинхронный движок и готовая архитектура: очередь запросов, повторы, ограничение скорости, конвейеры обработки. Один паук обходит тысячи страниц в минуту.

Возможности

  • Пауки: классы с правилами обхода и извлечения данных.
  • Селекторы CSS и XPath и интерактивная оболочка для их проверки.
  • Конвейеры для очистки, проверки и сохранения данных.
  • Экспорт в JSON, CSV, XML и облачные хранилища.
  • Расширения: scrapy-playwright для JavaScript-страниц, мониторинг и MCP-сервер для AI-агентов.

Кому подходит

Python-разработчикам и аналитикам данных, которые регулярно собирают каталоги, цены, объявления или новости с десятков сайтов.

Как начать

Установите pip install scrapy, создайте проект командой scrapy startproject и напишите первого паука. Отладьте селекторы в scrapy shell, затем запустите обход с выгрузкой в JSON.

Совет

Задайте задержку между запросами и включите AutoThrottle. Так сайт не заблокирует вас, а вы не создадите лишнюю нагрузку на чужой сервер.

Ограничения

Нужен Python. Страницы на JavaScript требуют Playwright через расширение. От серьёзной антибот-защиты нужны прокси, например ScraperAPI или Bright Data. Без кода быстрее Octoparse.

Плюсы

  • Бесплатный и открытый

  • Быстрый асинхронный обход тысяч страниц

  • Конвейеры, экспорт и повторы из коробки

  • Большая экосистема расширений

  • Работает локально без внешних сервисов

Минусы

  • Нужно знать Python

  • JavaScript-страницы только через расширения

  • От антибот-защиты нужны платные прокси

Тарифы Scrapy

ТарифЦенаЧто входит
ScrapyбесплатноФреймворк целиком, лицензия BSD
Zyteоплата по фактуОблачный запуск, API против блокировок

Цены на 09.11.2026. Перед оплатой проверьте на сайте сервиса.

Категория

No-code и CMS · Парсинг и сбор данных

Цена

Бесплатный фреймворк с открытым исходным кодом под лицензией BSD. Облачный хостинг и прокси от Zyte — платные.

Работа из России

Работает без ограничений: пакет ставится через pip и запускается на вашем компьютере или сервере. Платные сервисы Zyte оплачиваются зарубежной картой.

Платформы

Windows, macOS, Linux

Scrapy и аналоги

ИнструментЦенаРоссияБесплатно
ScrapyБесплатный фреймворк с открытым исходным кодом под лицензией BSDРаботает в Россииесть
A-ParserРазовая покупка бессрочной лицензии: Lite — $179, Pro — $299, Enterprise — $479Работает в Россиинет
ApifyБесплатный тариф даёт $5 использования в месяцВ России: нужна зарубежная картаесть
Bright DataОплата по факту использования: резидентные прокси от $2,50 за ГБ, Web Scraper API от…В России: VPN и зарубежная картапробный период
Browse AIБесплатный план — 50 кредитов в месяцВ России: нужна зарубежная картаесть
Content DownloaderПлатная бессрочная лицензия, цена зависит от числа потоков и модулейРаботает в Россиипробный период

С чем используют вместе

  • Playwright

    Playwright — фреймворк Microsoft для автоматизации браузеров и сквозного тестирования веб-приложений. Он управляет Chromium, Firefox и WebKit: открывает страницы, кликает, заполняет формы, делает скриншоты и…

  • ScraperAPI

    ScraperAPI — API для веб-скрапинга: вы отправляете адрес страницы, а сервис возвращает её HTML, сам подбирая прокси, обходя капчи и блокировки.

  • Google Sheets

    Google Sheets — онлайн-таблицы Google для расчётов, учёта и совместной работы. Открываются в браузере и в мобильных приложениях, файлы хранятся на Google Drive.

  • Apify

    Apify — платформа для парсинга сайтов и автоматизации работы в браузере. В её каталоге тысячи готовых «акторов» — парсеров для Google Maps, Instagram, TikTok, Amazon, сайтов вакансий и других источников, — а…

Частые вопросы о Scrapy

Scrapy бесплатный?+

Да, это открытый фреймворк под лицензией BSD. Платные только облачные сервисы Zyte, их использовать необязательно.

Работает ли Scrapy в России?+

Да, пакет ставится через pip без VPN, пауки работают на вашем компьютере или сервере.

Scrapy или Playwright?+

Playwright управляет браузером и подходит для JavaScript-сайтов, но медленнее. Scrapy быстрее на обычном HTML. Их часто совмещают через scrapy-playwright.

Можно ли парсить сайты без кода?+

Да, в Octoparse, ParseHub или A-Parser. Но для регулярного сбора больших объёмов Scrapy надёжнее и дешевле.

Нужен сайт, который видят нейросети?

Сделаю личный или корпоративный сайт на коде: без ограничений конструктора, с разметкой для ChatGPT и Алисы и годом администрирования. От 150 000 ₽.

Смотреть услуги

Бесплатные инструменты на сайте

Подборки инструментов в TelegramНовые сервисы, аналоги и что работает из России — раз в неделю.
Перейти на scrapy.org

Веб-сервис

Личный кабинет, админка или MVP под ключ

Next.js и Supabase, спецификация до старта и фиксированная цена. MVP — от 4 недель, клиентская часть — от 300 000 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.