brightdata
Web scraping and search via Bright Data API. Requires BRIGHTDATA_API_KEY and BRIGHTDATA_UNLOCKER_ZONE. Use for scraping any webpage as markdown (bypassing bot detection/CAPTCHA) or searching Google with structured results.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Web scraping and search via Bright Data API. Requires BRIGHTDATA_API_KEY and BRIGHTDATA_UNLOCKER_ZONE. Use for scraping any webpage as markdown (bypassing bot detection/CAPTCHA) or searching Google with structured results.
How to use
Załóż konto na Bright Data (brightdata.com) i zaloguj się do panelu kontrolnego, aby uzyskać swój klucz API.
W panelu Bright Data utwórz nową strefę Web Unlocker, klikając przycisk "Add" w górnym prawym rogu i wybierając typ "Unlocker zone". Zapamiętaj nazwę strefy.
Ustaw zmienne środowiskowe na swoim komputerze: BRIGHTDATA_API_KEY (twój klucz API) oraz BRIGHTDATA_UNLOCKER_ZONE (nazwa utworzonej strefy). W systemach Linux/macOS użyj komendy export, na Windows ustaw zmienne w ustawieniach systemowych.
Aby pobrać zawartość strony internetowej, uruchom skrypt scrape.sh z adresem URL jako argument. Skill zwróci czystą zawartość strony w formacie markdown, gotową do dalszego przetwarzania.
Aby wyszukać informacje w Google, użyj skryptu search.sh z zapytaniem jako argument. Otrzymasz strukturalny wynik JSON zawierający listę wyników organicznych z polami: link, title i description.
Dla wyszukiwań wielostronicowych dodaj parametr cursor (numer strony, zaczynając od 0) do komendy search.sh, aby przejść do następnych stron wyników.