Scrapling

Scrapling — это адаптивный фреймворк для веб-скрейпинга, который справляется как с единичными запросами, так и с полноценным краулингом сайтов.

Его парсер обучается на изменениях веб-страниц и автоматически находит нужные элементы даже после обновлений сайта. Встроенные fetcher’ы умеют обходить антибот-защиту (например, Cloudflare Turnstile) «из коробки». А spider-фреймворк позволяет масштабировать сбор данных до параллельных многосессионных обходов с поддержкой паузы, возобновления и автоматической ротации прокси — всего в несколько строк Python-кода. :

Одна библиотека — без компромиссов. Быстрые обходы, стриминг данных и статистика в реальном времени. Инструмент создан скрейперами для скрейперов — но подойдёт и обычным пользователям.

Когда использовать

Используйте Scrapling, если вам нужно:

• парсить веб-страницы и извлекать данные;
• обходить защиту сайтов и антибот-системы;
• работать с динамическими сайтами и JavaScript;
• писать краулеры или пауков (spiders) на Python;
• получать данные там, где стандартные методы не справляются.

Основные возможности

• Адаптивный парсинг — элементы автоматически находятся даже после изменений структуры сайта;
• Обход антиботов — поддержка stealth-режима и обхода Cloudflare;
• Headless-браузер — работа с динамическими страницами;
• Spider-фреймворк — масштабируемый краулинг с многосессионной поддержкой;
• Прокси и сессии — встроенная ротация и управление состоянием;
• CLI-интерфейс — извлечение данных без написания кода.

Требования

Для работы требуется Python версии 3.10 или выше.

Установка

Создайте виртуальное окружение (например, через venv) и установите библиотеку:

pip install "scrapling[all]>=0.4.2"

Затем установите зависимости браузеров:

scrapling install --force

Если бинарник scrapling не находится в PATH — используйте полный путь к нему.

Docker

Если вы не хотите использовать Python, можно воспользоваться Docker-образом:

docker pull pyd4vinci/scrapling
# или
docker pull ghcr.io/d4vinci/scrapling:latest

CLI: использование без кода

Команда scrapling extract позволяет скачивать и извлекать данные с сайтов без написания кода:

scrapling extract [OPTIONS] COMMAND [ARGS]...

Доступные команды:

• get — GET-запрос и сохранение результата;
• post — POST-запрос;
• put — PUT-запрос;
• delete — DELETE-запрос;
• fetch — получение страницы через браузер;
• stealthy-fetch — скрытый режим с обходом защиты.

Примеры использования

# Сохранить страницу в Markdown
scrapling extract get "https://example.com" article.md

# Сохранить HTML
scrapling extract get "https://example.com" page.html

# Получить чистый текст
scrapling extract get "https://example.com" content.txt

Формат вывода определяется расширением файла. При необходимости можно использовать CSS-селекторы для извлечения конкретных элементов страницы.

Как выбрать режим

• get — для простых сайтов и статических страниц;
• fetch — для современных сайтов с динамикой;
• stealthy-fetch — для защищённых ресурсов и антиботов.

Если не уверены — начните с get, затем переходите к более продвинутым режимам.