computer-use-agents

Build AI agents that interact with computers like humans do - viewing screens, moving cursors, clicking buttons, and typing text. Covers Anthropic's Computer Use, OpenAI's Operator/CUA, and open-source alternatives. Critical focus on sandboxing, security, and handling the unique challenges of vision-based control. Use when: computer use, desktop automation agent, screen control AI, vision-based agent, GUI automation.

1. Zainstaluj wymagane zależności: bibliotekę Anthropic SDK, PIL do przetwarzania obrazów oraz pyautogui do sterowania myszą i klawiaturą. Upewnij się, że masz dostęp do klucza API Anthropic.

2. Zaimportuj klasę ComputerUseAgent z umiejętności i zainicjuj ją, przekazując klienta Anthropic oraz wybrany model (domyślnie claude-sonnet-4-20250514). Ustaw maksymalną liczbę kroków (max_steps) aby zapobiec nieskończonym pętlom – domyślnie 50 iteracji.

3. Zaimplementuj pętlę Perception-Reasoning-Action: agent przechwytuje zrzut ekranu, konwertuje go do formatu base64, wysyła do modelu wizyjnego w celu analizy i planowania następnego kroku.

4. Model zwraca instrukcje akcji (ruch myszy, klik, wpisanie tekstu). Wykonaj te akcje za pomocą pyautogui, zachowując opóźnienie między operacjami (domyślnie 0,5 sekundy) dla stabilności.

5. Po każdej akcji przechwytuj nowy zrzut ekranu i obserwuj rezultat. Agent automatycznie koryguje się na podstawie zmian na ekranie – pętla trwa do osiągnięcia celu lub wyczerpania kroków.

6. Pamiętaj o bezpieczeństwie: uruchamiaj agenta w izolowanym środowisku (sandbox), ogranicz dostęp do wrażliwych systemów i monitoruj akcje agenta w czasie rzeczywistym, szczególnie podczas fazy testowania.