Diffbot — это сервис, который с помощью машинного обучения превращает веб-страницы в структурированные данные: статьи, товары, обсуждения, организации и людей. Кроме API парсинга, у него есть собственный граф знаний о компаниях и людях.
Главное отличие — не нужно писать селекторы. Вы передаёте адрес страницы, а Diffbot сам определяет тип страницы и возвращает заголовок, текст, цену, автора и другие поля в JSON.
Возможности
- Extract API: статьи, товары, видео, обсуждения без настройки шаблонов.
- Crawlbot: обход целого сайта с извлечением данных.
- Knowledge Graph: база компаний, людей и событий с поиском по атрибутам.
- Natural Language API: сущности, связи и тональность в тексте.
- Интеграции с Google Sheets и через API.
Кому подходит
Аналитикам, исследовательским и data-командам, которым нужны данные с тысяч разных сайтов без поддержки парсера под каждый.
Как пользоваться
Получите токен в кабинете и отправьте адрес страницы в Extract API. Для обхода сайта создайте задачу в Crawlbot и выгрузите результат в JSON или CSV.
Совет
Проверьте качество извлечения на 20–30 страницах ваших источников до покупки тарифа: на нестандартной вёрстке автоматика ошибается.
Ограничения
Дорого для небольших задач. Для разового парсинга одного сайта дешевле Apify или Firecrawl, а для подготовки текста под LLM — Exa или Tavily.