computer-use

Full desktop computer use for headless Linux servers and VPS. Creates a virtual display (Xvfb + XFCE) to control GUI applications without a physical monitor. Screenshots, mouse clicks, keyboard input, scrolling, dragging — all 17 standard actions. Includes VNC setup for live remote viewing and interaction. Model-agnostic, works with any LLM.

1. Uruchom skrypt konfiguracyjny ./scripts/setup-vnc.sh, który zainstaluje Xvfb (wirtualny wyświetlacz na :99), minimalny pulpit XFCE4, x11vnc oraz noVNC do dostępu przez przeglądarkę. Wszystkie usługi uruchomią się automatycznie przy starcie systemu.

2. Zweryfikuj, że wirtualny wyświetlacz działa, wykonując zrzut ekranu za pomocą akcji screenshot — powinna zwrócić obraz w formacie base64 PNG rozdzielczości 1024x768.

3. Aby kontrolować mysz, użyj akcji left_click z współrzędnymi (x, y) — na przykład left_click 512 384 kliknie w środek ekranu. Dla bardziej złożonych interakcji dostępne są right_click, double_click, triple_click oraz left_click_drag do przeciągania.

4. Do wpisywania tekstu użyj akcji type — skill automatycznie dzieli tekst na porcje 50 znaków z opóźnieniem 12ms między nimi, co zapobiega utracie danych. Dla klawiszy specjalnych (Enter, Tab, Ctrl+C) użyj akcji key z odpowiednią kombinacją.

5. Aby zobaczyć na żywo, co robi LLM, otwórz noVNC w przeglądarce na porcie wskazanym przez skrypt — możesz obserwować i ręcznie interweniować w sesję.

6. Integruj skill z dowolnym LLM, przekazując mu dostępne akcje (screenshot, cursor_position, mouse_move, click, drag, type, key, scroll) — model będzie samodzielnie decydować, które akcje wykonać, aby osiągnąć cel.