Никита АлимпиевNikAlimp

Diffbot или Scrapy: что выбрать

Diffbot и Scrapy — сервисы одной категории «Парсинг и сбор данных». Diffbot — data-командам, которым нужны структурированные данные с множества разных сайтов и граф знаний о компаниях. Scrapy — python-разработчикам, которые регулярно парсят много страниц и хотят надёжную архитектуру. Из России Diffbot работает, но оплатить можно только зарубежной картой, а Scrapy работает без ограничений.

DiffbotScrapy
ЦенаБесплатный план с ограниченным числом кредитов в месяцБесплатный фреймворк с открытым исходным кодом под лицензией BSD
Бесплатный планестьесть
Работа из РоссииВ России: нужна зарубежная картаРаботает в России
Русский языкнетнет
ПлатформыВеб, APIWindows, macOS, Linux
ИтогМощный автоматический парсинг и граф знаний, но дорогой и только для зарубежной карты.Самый зрелый бесплатный фреймворк для парсинга на Python.
Diffbot

Diffbot — это сервис, который с помощью машинного обучения превращает веб-страницы в структурированные данные: статьи, товары, обсуждения, организации и людей. Кроме API парсинга, у него есть собственный граф…

Кому подходит: Data-командам, которым нужны структурированные данные с множества разных сайтов и граф знаний о компаниях.

Кому не подходит: Фрилансерам и небольшим проектам с разовым парсингом одного сайта.

Плюсы

  • Извлечение данных без написания селекторов
  • Собственный граф знаний о компаниях и людях
  • Обход целых сайтов через Crawlbot
  • Бесплатный план для тестов

Минусы

  • Высокая цена платных тарифов
  • На нестандартной вёрстке автоматика ошибается
  • Не принимает российские карты

Тарифы

ТарифЦенаЧто входит
FreeбесплатноОграниченное число кредитов в месяц
Платные тарифыот нескольких сотен $ в месяцБольше кредитов, Crawlbot, Knowledge Graph
Enterpriseпо запросуКрупные объёмы и выделенная поддержка
diffbot.com
Scrapy

Scrapy — бесплатный фреймворк на Python для парсинга сайтов: обходит страницы, извлекает данные по CSS- и XPath-селекторам и сохраняет их в JSON, CSV или базу.

Кому подходит: Python-разработчикам, которые регулярно парсят много страниц и хотят надёжную архитектуру.

Кому не подходит: Тем, кто не пишет код или парсит пару страниц раз в месяц.

Плюсы

  • Бесплатный и открытый
  • Быстрый асинхронный обход тысяч страниц
  • Конвейеры, экспорт и повторы из коробки
  • Большая экосистема расширений
  • Работает локально без внешних сервисов

Минусы

  • Нужно знать Python
  • JavaScript-страницы только через расширения
  • От антибот-защиты нужны платные прокси

Тарифы

ТарифЦенаЧто входит
ScrapyбесплатноФреймворк целиком, лицензия BSD
Zyteоплата по фактуОблачный запуск, API против блокировок
scrapy.org

Подробно — на страницах Diffbot и Scrapy.

Веб-сервис

Личный кабинет, админка или MVP под ключ

Next.js и Supabase, спецификация до старта и фиксированная цена. MVP — от 4 недель, клиентская часть — от 300 000 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.