firecrawl-scraper
Scrape and extract web content, convert HTML to markdown, and bypass bot protection for dynamic sites using Firecrawl API.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Scrape and extract web content, convert HTML to markdown, and bypass bot protection for dynamic sites using Firecrawl API.
How to use
Zainstaluj umiejętność firecrawl-scraper w swoim środowisku Claude lub kompatybilnym agencie, korzystając z repozytorium https://github.com/jackspace/ClaudeSkillz/tree/master/skills/firecrawl-scraper. Upewnij się, że masz dostęp do Firecrawl API v2 i wygenerowany klucz API.
Aby scrapować pojedynczą stronę, użyj endpointu /v2/scrape z adresem URL strony docelowej. Określ format wyjściowy (markdown, HTML lub screenshot) oraz opcjonalne parametry takie jak onlyMainContent (aby usunąć nawigację, stopkę i reklamy) i waitFor (aby czekać na załadowanie dynamicznej zawartości).
Dla crawlowania całej witryny użyj endpointu /v2/crawl, który automatycznie mapuje wszystkie dostępne adresy URL i zbiera treść ze wszystkich stron. Skonfiguruj limit głębokości crawlowania i filtry URL zgodnie z potrzebami.
Jeśli potrzebujesz przetwarzać wiele stron jednocześnie, wykorzystaj batch scraping, aby wysłać listę adresów URL i otrzymać wyniki dla wszystkich stron w jednym żądaniu.
Obsługuj odpowiedzi API — treść zwracana jest w wybranym formacie (najczęściej markdown dla modeli AI). Jeśli napotkasz błędy związane z blokowaniem botów lub brakiem załadowania treści, umiejętność automatycznie aktywuje renderowanie JavaScript i mechanizmy omijania ochrony.
Integruj wyodrębnione dane z pozostałą częścią przepływu pracy — przekazuj markdown do analizy przez model AI, przechowuj strukturyzowane dane w bazie danych lub użyj zrzutów ekranu do weryfikacji wizualnej.