Firecrawler

Firecrawler — навык для веб-скрейпинга и краулинга

Firecrawler — это AI-навык для работы с веб-данными через API Firecrawl. Он позволяет извлекать содержимое сайтов, делать скриншоты, структурировать данные и обходить целые сайты или документацию.

Инструмент ориентирован на разработчиков и AI-агентов, которым нужен быстрый доступ к актуальной информации из интернета в удобном формате.

Основные возможности

• Преобразование в Markdown — получение чистого текста страницы без лишних элементов
• Скриншоты — создание полноразмерных снимков веб-страниц
• Извлечение структурированных данных — парсинг по JSON-схеме
• Поиск по интернету — получение и обработка результатов поиска
• Краулинг документации — обход и сбор данных со всего сайта
• Карта сайта — обнаружение всех URL на домене

Установка

openclaw install @capt-marbles/firecrawler

Быстрый старт

Перед началом работы необходимо получить API-ключ Firecrawl и установить навык.

Пример: получение страницы в Markdown

python3 fc.py markdown "https://example.com"

Можно также исключить навигацию и футер:

python3 fc.py markdown "https://example.com" --main-only

Пример: создание скриншота

python3 fc.py screenshot "https://example.com" -o screenshot.png

Пример: извлечение структурированных данных

Сначала создайте JSON-схему:

{
 "type": "object",
 "properties": {
 "title": { "type": "string" },
 "price": { "type": "number" }
 }
}

Затем выполните извлечение:

python3 fc.py extract "https://example.com/product" --schema schema.json

Пример: поиск в интернете

python3 fc.py search "latest AI tools" --limit 5

Пример: краулинг сайта

python3 fc.py crawl "https://docs.example.com" --limit 30

Пример: карта сайта

python3 fc.py map "https://example.com" --limit 100

Сценарии использования

• Контент-ресерч и сбор статей
• Мониторинг цен на товары
• Извлечение структурированных данных
• Подготовка данных для LLM и RAG
• Анализ конкурентов
• Мониторинг изменений сайтов

Тарифы и ограничения

Базовый тариф включает бесплатные кредиты. Каждый запрос (страница, скриншот или поиск) расходует один кредит, поэтому рекомендуется задавать лимиты при работе с большими объемами данных.

Требования

• Python 3.6+
• API-ключ Firecrawl
• Установленный SDK Firecrawl

Firecrawler — универсальный инструмент для сбора веб-данных, который особенно полезен при разработке AI-агентов и систем, работающих с актуальной информацией из интернета.