M
mac-use
Control macOS GUI apps visually — take screenshots, click, scroll, type. Use when the user asks to interact with any Mac desktop application's graphical interface.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Control macOS GUI apps visually — take screenshots, click, scroll, type. Use when the user asks to interact with any Mac desktop application's graphical interface.
How to use
- Zainstaluj Python 3 za pomocą Homebrew, jeśli jeszcze go nie masz: brew install python. 2. Przejdź do katalogu umiejętności i zainstaluj wymagane pakiety Pythona poleceniem pip3 install --break-system-packages -r requirements.txt. 3. Uruchom zrzut ekranu wybranej aplikacji poleceniem python3 scripts/mac_use.py screenshot [nazwa_aplikacji]. System automatycznie wykryje wszystkie tekstowe elementy interfejsu, narysuje zielone ramki z numerami i zwróci listę JSON z pozycjami każdego elementu. 4. Otrzymasz dwa pliki: obraz z adnotacjami (zapisany w /tmp/mac_use.png) oraz listę numerowanych elementów w formacie JSON. Porównaj numery na obrazie z listą, aby znaleźć element, w który chcesz kliknąć. 5. Kliknij wybrany element poleceniem python3 scripts/mac_use.py clicknum [numer], gdzie numer to numer elementu z poprzedniego kroku. 6. Powtarzaj kroki 3-5, aż wykonasz wszystkie potrzebne działania w aplikacji — każdy zrzut ekranu pokaże aktualny stan interfejsu i dostępne elementy do interakcji.