Diffbot или Scrapy: что выбрать
Diffbot и Scrapy — сервисы одной категории «Парсинг и сбор данных». Diffbot — data-командам, которым нужны структурированные данные с множества разных сайтов и граф знаний о компаниях. Scrapy — python-разработчикам, которые регулярно парсят много страниц и хотят надёжную архитектуру. Из России Diffbot работает, но оплатить можно только зарубежной картой, а Scrapy работает без ограничений.
| Diffbot | Scrapy | |
|---|---|---|
| Цена | Бесплатный план с ограниченным числом кредитов в месяц | Бесплатный фреймворк с открытым исходным кодом под лицензией BSD |
| Бесплатный план | есть | есть |
| Работа из России | В России: нужна зарубежная карта | Работает в России |
| Русский язык | нет | нет |
| Платформы | Веб, API | Windows, macOS, Linux |
| Итог | Мощный автоматический парсинг и граф знаний, но дорогой и только для зарубежной карты. | Самый зрелый бесплатный фреймворк для парсинга на Python. |
Diffbot — это сервис, который с помощью машинного обучения превращает веб-страницы в структурированные данные: статьи, товары, обсуждения, организации и людей. Кроме API парсинга, у него есть собственный граф…
Кому подходит: Data-командам, которым нужны структурированные данные с множества разных сайтов и граф знаний о компаниях.
Кому не подходит: Фрилансерам и небольшим проектам с разовым парсингом одного сайта.
Плюсы
- Извлечение данных без написания селекторов
- Собственный граф знаний о компаниях и людях
- Обход целых сайтов через Crawlbot
- Бесплатный план для тестов
Минусы
- Высокая цена платных тарифов
- На нестандартной вёрстке автоматика ошибается
- Не принимает российские карты
Тарифы
| Тариф | Цена | Что входит |
|---|---|---|
| Free | бесплатно | Ограниченное число кредитов в месяц |
| Платные тарифы | от нескольких сотен $ в месяц | Больше кредитов, Crawlbot, Knowledge Graph |
| Enterprise | по запросу | Крупные объёмы и выделенная поддержка |
Scrapy — бесплатный фреймворк на Python для парсинга сайтов: обходит страницы, извлекает данные по CSS- и XPath-селекторам и сохраняет их в JSON, CSV или базу.
Кому подходит: Python-разработчикам, которые регулярно парсят много страниц и хотят надёжную архитектуру.
Кому не подходит: Тем, кто не пишет код или парсит пару страниц раз в месяц.
Плюсы
- Бесплатный и открытый
- Быстрый асинхронный обход тысяч страниц
- Конвейеры, экспорт и повторы из коробки
- Большая экосистема расширений
- Работает локально без внешних сервисов
Минусы
- Нужно знать Python
- JavaScript-страницы только через расширения
- От антибот-защиты нужны платные прокси
Тарифы
| Тариф | Цена | Что входит |
|---|---|---|
| Scrapy | бесплатно | Фреймворк целиком, лицензия BSD |
| Zyte | оплата по факту | Облачный запуск, API против блокировок |
Веб-сервис
Личный кабинет, админка или MVP под ключ
Next.js и Supabase, спецификация до старта и фиксированная цена. MVP — от 4 недель, клиентская часть — от 300 000 ₽.
Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.