Установка скиллов и плагинов OpenClaw осуществляется на ваш страх и риск. Все файлы были получены из открытых источников и предоставляются «как есть». Мы не гарантируем их корректную работу, безопасность или совместимость с вашей системой. Перед установкой настоятельно рекомендуется ознакомиться с содержимым кода и убедиться, что вы понимаете, какие изменения будут внесены в вашу систему.
Markdown.new Skill — это инструмент для преобразования публичных веб-страниц в чистый Markdown, оптимизированный для работы с AI и LLM.
С его помощью можно легко превращать сложные HTML-страницы в структурированный текст, пригодный для анализа, суммаризации, RAG-пайплайнов и архивирования.
Что делает этот инструмент
Markdown.new позволяет конвертировать любые публичные URL в Markdown-формат, удобный для дальнейшей обработки моделями искусственного интеллекта.
- Преобразование веб-страниц в Markdown
- Подготовка данных для RAG и AI-аналитики
- Очистка HTML от лишнего шума
- Архивирование контента в компактном формате
- Снижение затрат токенов при работе с LLM
Основные возможности
- Поддержка различных режимов конвертации:
auto,ai,browser - Работа с JavaScript-нагруженными страницами
- Опциональное сохранение изображений
- Гибкие варианты вывода (stdout или файл)
- Режим
--deliver-mdдля структурированной передачи данных
Как это работает
- Пользователь передаёт публичный URL (http/https).
- Система отправляет запрос к сервису
markdown.new. - Выбирается оптимальный метод конвертации (по умолчанию
auto). - При необходимости используется рендеринг через браузер для JS-контента.
- Результат возвращается в виде Markdown.
Режимы конвертации
Инструмент поддерживает несколько стратегий обработки контента:
- auto — автоматически выбирает самый быстрый рабочий вариант
- ai — использует AI для преобразования HTML
- browser — рендеринг через headless-браузер для сложных страниц
Форматы вывода
- Вывод в стандартный поток (stdout)
- Сохранение в файл через
--output - Обёрнутый Markdown через
--deliver-mdдля удобной обработки
Пример использования
python3 scripts/markdown_new_fetch.py 'https://example.com'С сохранением в файл:
python3 scripts/markdown_new_fetch.py 'https://example.com' --output page.mdДля сложных страниц с JavaScript:
python3 scripts/markdown_new_fetch.py 'https://example.com' --method browserКогда использовать
- Подготовка данных для LLM и RAG-систем
- Сбор и анализ веб-контента
- Создание локальных баз знаний
- Очистка HTML перед обработкой
- Оптимизация токенов для AI
Ограничения и безопасность
- Обрабатываются только публичные страницы
- Ограничение API: ~500 запросов в день
- Необходимо учитывать robots.txt и условия сайтов
- Результат может требовать дополнительной проверки
Почему это важно
Markdown — один из самых эффективных форматов для работы с AI. Он уменьшает объём данных, упрощает структуру текста и повышает точность извлечения информации.
Markdown.new выступает мостом между вебом и AI-системами, позволяя быстро превращать любой сайт в чистые, пригодные для анализа данные.
Файл из источника