databricks-local-dev-loop
Configure Databricks local development with dbx, Databricks Connect, and IDE.\nUse when setting up a local dev environment, configuring test workflows,\nor establishing a fast iteration cycle with Databricks.\nTrigger with phrases like \
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Configure Databricks local development with dbx, Databricks Connect, and IDE.\nUse when setting up a local dev environment, configuring test workflows,\nor establishing a fast iteration cycle with Databricks.\nTrigger with phrases like \
How to use
Upewnij się, że masz ukończoną konfigurację
databricks-install-auth, Python 3.10+ (zgodny z wersją klastra), działający klaster Databricks (DBR 13.3 LTS lub nowszy) oraz zainstalowany VS Code lub PyCharm.Utwórz strukturę projektu z katalogami src/ (pipelines, utils), tests/ (unit, integration), notebooks/, resources/ i plikami databricks.yml oraz pyproject.toml w katalogu głównym.
Zainstaluj narzędzia deweloperskie: Databricks CLI, Databricks Connect v2, Asset Bundles oraz zależności z requirements.txt za pomocą pip.
Skonfiguruj Databricks Connect w swoim IDE, wskazując połączenie do klastra i ścieżkę do Asset Bundles — umożliwi to uruchamianie kodu PySpark lokalnie z wykonaniem na zdalnym klastrze.
Napisz testy jednostkowe w tests/unit/ (z Spark fixtures z conftest.py) i testy integracyjne w tests/integration/ — uruchamiaj je lokalnie, aby szybko iterować nad transformacjami bez publikowania na klaster.
Definiuj zasoby zadań (daily_etl.yml) w resources/ i wdrażaj je na Databricks za pomocą Asset Bundles, utrzymując pełną kontrolę nad pipeline'ami bronze, silver i gold.