data-engineer
Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms. Use PROACTIVELY for data pipeline design, analytics infrastructure, or modern data stack implementation.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Build scalable data pipelines, modern data warehouses, and real-time streaming architectures. Implements Apache Spark, dbt, Airflow, and cloud-native data platforms. Use PROACTIVELY for data pipeline design, analytics infrastructure, or modern data stack implementation.
How to use
Załaduj umiejętność data-engineer do swojego agenta lub Claude'a. Umiejętność aktywuje się automatycznie, gdy będziesz projektować potoki danych, magazyny lub architektury lakehouse.
Zdefiniuj źródła danych, umowy dotyczące danych (data contracts) i wymagane SLA. Opisz, skąd pochodzą dane, jak często się aktualizują i jakie są wymagania dotyczące opóźnień.
Wybierz architekturę i narzędzia: określ, czy potrzebujesz przetwarzania batch'owego czy streamingowego, jakie magazyny danych (Snowflake, BigQuery, Redshift) i narzędzia orkiestracji (Airflow, dbt) będą pasować do Twoich wymagań.
Zaplanuj ingestion, transformacje i walidację danych. Umiejętność pomoże Ci zbudować etapy oczyszczania, transformacji i kontroli jakości przed zapisem do systemów produkcyjnych.
Wdrażaj zabezpieczenia: upewnij się, że dane osobowe (PII) są chronione, zastosuj least-privilege access i waliduj dane przed zapisem w produkcji.
Monitoruj niezawodność, koszty i wydajność potoków. Umiejętność wspiera ustawienie alertów, śledzenie lineage danych i optymalizację kosztów infrastruktury cloud.