Crawl4AI — библиотека на Python с открытым кодом для парсинга сайтов под нейросети: она обходит страницы в браузере и отдаёт чистый Markdown или структурированный JSON для RAG и агентов.
Главное отличие — всё работает локально и бесплатно. В отличие от облачных Firecrawl и Apify, здесь нет лимитов по страницам и оплаты за запрос: только ваш сервер.
Возможности
- Markdown для LLM — очистка страниц от меню, рекламы и мусора.
- Браузерный рендеринг — страницы с JavaScript через Playwright.
- Извлечение данных — по CSS/XPath-схеме или с помощью LLM в JSON.
- Глубокий обход — обход сайта по ссылкам с фильтрами и лимитами.
- Docker и API — запуск как сервиса и подключение к агентам по MCP.
Кому подходит
Разработчикам RAG, AI-агентов и аналитических скриптов, которые собирают данные с сайтов и не хотят платить за каждый запрос.
Как начать
Установите пакет pip install crawl4ai, выполните crawl4ai-setup для установки браузера и запустите пример с AsyncWebCrawler на одной странице.
Совет
Для массового сбора начинайте с извлечения по CSS-схеме, а LLM подключайте только для сложных страниц. Так обход будет быстрым и почти бесплатным.
Ограничения
Нужно уметь программировать на Python и поддерживать сервер. Защиту от ботов и прокси придётся решать самому. Для промышленного сбора есть Scrapy, для готовых сценариев без кода — Apify.