senior-data-engineer
World-class data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
World-class data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when designing data architectures, building data pipelines, optimizing data workflows, or implementing data governance.
How to use
Sklonuj repozytorium z umiejętnością ze ścieżki cli-tool/components/skills/development/senior-data-engineer i zintegruuj ją ze swoim projektem Claude/Copilot.
Przygotuj katalog z danymi wejściowymi oraz plik konfiguracyjny (config.yaml) zawierający parametry Twojego potoku danych – schemat bazy, źródła danych, cele transformacji.
Uruchom orchestrator potoków poleceniem python scripts/pipeline_orchestrator.py --input data/ --output results/, aby zdefiniować i zaplanować sekwencję zadań ETL/ELT.
Waliduj jakość danych za pomocą python scripts/data_quality_validator.py --target project/ --analyze, aby sprawdzić poprawność transformacji i zidentyfikować anomalie.
Optymalizuj wydajność potoków poleceniem python scripts/etl_performance_optimizer.py --config config.yaml --deploy, aby wdrożyć zoptymalizowaną konfigurację w środowisku produkcyjnym.
Konsultuj umiejętność w kwestiach projektowania architektur danych, wyboru narzędzi z modern data stack (Spark, Airflow, dbt, Kafka) oraz implementacji praktyk DataOps i governance.