Peekaboo

Peekaboo — это мощный CLI-инструмент для macOS, предназначенный для автоматизации пользовательского интерфейса: от захвата экрана до управления приложениями, окнами и элементами UI.

Что это такое

Peekaboo объединяет в себе возможности захвата и анализа интерфейса, позволяя не только делать скриншоты, но и «понимать» содержимое экрана. Он может находить элементы интерфейса, взаимодействовать с ними и выполнять действия — клики, ввод текста, прокрутку и многое другое.

Инструмент ориентирован на автоматизацию и работу с агентами: команды можно использовать как вручную, так и в составе сценариев или AI-агентов.

Ключевые возможности

• Захват экрана (всего экрана, окна или отдельных областей)
• Анализ интерфейса и получение структуры элементов
• Взаимодействие с UI: клики, ввод текста, прокрутка, жесты
• Управление приложениями и окнами
• Работа с меню, Dock и системными диалогами
• Поддержка сценариев и автоматизации через JSON
• Интеграция с AI-моделями для анализа изображений

Как это работает

Peekaboo использует механизм «снимков» (snapshots), чтобы фиксировать состояние интерфейса. На основе этих снимков инструмент определяет элементы UI и позволяет точно взаимодействовать с ними.

Большинство команд следуют простой цепочке:

• сначала захват состояния интерфейса (see)
• затем выбор элемента (по ID, тексту или координатам)
• после — выполнение действия (например, click или type)

Такой подход делает автоматизацию предсказуемой и устойчивой к изменениям интерфейса.

Примеры использования

Простейший сценарий: открыть приложение, найти элемент и взаимодействовать с ним.

peekaboo see --app Safari --annotate
peekaboo click --on B1
peekaboo type "Hello world"

Также можно делать скриншоты с анализом:

peekaboo image --mode screen --retina --path /tmp/screen.png
peekaboo image --analyze "Что происходит на экране?"

Автоматизация и сценарии

Peekaboo поддерживает выполнение сценариев через файлы .peekaboo.json, что позволяет строить сложные автоматизации. Это особенно полезно для интеграции с AI-агентами или CI-процессами.

Кроме того, инструмент может работать как MCP-сервер, предоставляя интерфейс для взаимодействия с внешними системами и моделями.

Когда использовать

• Автоматизация действий в macOS
• Тестирование пользовательских интерфейсов
• Создание AI-агентов, взаимодействующих с системой
• Скриншотинг и визуальный анализ
• Повторяемые пользовательские сценарии

Итог

Peekaboo — это универсальный инструмент для управления macOS через CLI, который сочетает в себе автоматизацию, анализ интерфейса и возможности AI. Он превращает пользовательский интерфейс в управляемую среду, доступную для сценариев и агентов. :