Toolverse
All skills

firecrawl-local-dev-loop

by jeremylongshore

Configure FireCrawl local development with hot reload and testing.\nUse when setting up a development environment, configuring test workflows,\nor establishing a fast iteration cycle with FireCrawl.\nTrigger with phrases like \

Installation

Pick a client and clone the repository into its skills directory.

Installation

Quick info

Category
Testing
Views
2

About this skill

Configure FireCrawl local development with hot reload and testing.\nUse when setting up a development environment, configuring test workflows,\nor establishing a fast iteration cycle with FireCrawl.\nTrigger with phrases like \

How to use

  1. Upewnij się, że masz zainstalowane Node.js 18+, npm lub pnpm, Docker i Docker Compose. Zainstaluj również pakiet @mendable/firecrawl-js w swoim projekcie.

  2. Utwórz strukturę projektu z katalogami src/ (logika FireCrawl i konfiguracja), tests/ (testy jednostkowe i integracyjne) oraz plikami docker-compose.yml, .env.local i package.json w głównym katalogu.

  3. Przygotuj plik docker-compose.yml, który uruchomi self-hosted instancję FireCrawl na porcie 3002 razem z Redis. Ustaw zmienne środowiskowe takie jak PORT, USE_DB_AUTHENTICATION, REDIS_URL i NUM_WORKERS_PER_QUEUE zgodnie z potrzebami rozwojowymi.

  4. Utwórz plik .env.local z danymi dostępowymi do lokalnej instancji (np. adres localhost:3002) i dodaj go do .gitignore. Stwórz również .env.example jako szablon dla zespołu.

  5. Napisz testy jednostkowe w tests/scraper.test.ts, które mockują SDK FireCrawl, oraz testy integracyjne w tests/integration.test.ts, które łączą się z lokalną instancją. Uruchom je za pomocą vitest.

  6. Uruchom docker-compose up, aby postawić lokalny FireCrawl, a następnie testuj swoją logikę scrapingu bez zużywania kredytów API. Zmień zmienne środowiskowe, aby przełączać się między lokalnym a produkcyjnym API w razie potrzeby.

Related skills