Windows Control Skill

Windows Control — это мощный навык для полной автоматизации рабочего стола Windows. Он позволяет управлять мышью, клавиатурой и экраном, взаимодействуя с любым приложением так, как это делает человек.

Обзор возможностей

Навык предоставляет широкий набор инструментов для управления системой: от простых кликов и ввода текста до чтения интерфейса и автоматизации сложных сценариев. Он использует Windows UI Automation, что делает взаимодействие быстрым и точным без зависимости от OCR.

• Управление мышью и клавиатурой
• Скриншоты экрана
• Работа с окнами приложений
• Чтение текста и элементов интерфейса
• Автоматизация пользовательских действий

Быстрый старт

Все скрипты находятся в директории skills/windows-control/scripts/.

py screenshot.py > output.b64

Делает снимок экрана и возвращает изображение в формате base64 PNG.

Клики мышью

py click.py 500 300
py click.py 500 300 right
py click.py 500 300 left 2

Левый, правый и двойной клик по указанным координатам.

Ввод текста

py type_text.py "Hello World"

Печатает текст в текущей позиции курсора с небольшой задержкой между нажатиями клавиш.

Нажатие клавиш

py key_press.py "enter"
py key_press.py "ctrl+s"
py key_press.py "alt+tab"
py key_press.py "ctrl+shift+esc"

Перемещение мыши

py mouse_move.py 500 300

Плавно перемещает курсор к заданным координатам.

Прокрутка

py scroll.py up 5
py scroll.py down 10

Прокрутка вверх или вниз на заданное количество шагов.

Управление окнами

py focus_window.py "Chrome"
py minimize_window.py "Notepad"
py maximize_window.py "VS Code"
py close_window.py "Calculator"
py get_active_window.py

Позволяет управлять окнами: выводить на передний план, сворачивать, разворачивать и закрывать.

Продвинутые действия

Навык поддерживает более сложные сценарии автоматизации.

py click_text.py "Save"
py click_text.py "Submit" "Chrome"

Клик по тексту без указания координат.

py drag.py 100 100 500 300

Перетаскивание объектов между координатами.

py wait_for_text.py "Ready" "App" 30
py wait_for_window.py "Notepad" 10
py find_text.py "Login" "Chrome"
py list_windows.py

Ожидание элементов, поиск текста и получение списка открытых окон.

Чтение содержимого окон

py read_window.py "Notepad"
py read_window.py "Visual Studio"
py read_window.py "Chrome"

Извлекает текст напрямую через Windows UI Automation — быстрее и точнее, чем скриншоты. :

Чтение UI-элементов

py read_ui_elements.py "Chrome"
py read_ui_elements.py "Chrome" --buttons-only
py read_ui_elements.py "Chrome" --links-only
py read_ui_elements.py "Chrome" --json

Возвращает кнопки, ссылки, вкладки, чекбоксы и другие элементы интерфейса с координатами для взаимодействия.

Итог

Windows Control — это универсальный инструмент для автоматизации Windows. Он позволяет строить сложные сценарии взаимодействия с интерфейсом, автоматизировать рутинные задачи и интегрировать AI-агентов с десктопными приложениями на новом уровне. :