airflow-dag-patterns

Build production Apache Airflow DAGs with best practices for operators, sensors, testing, and deployment. Use when creating data pipelines, orchestrating workflows, or scheduling batch jobs.

1. Zainstaluj umiejętność w swoim środowisku agenta, dodając ścieżkę do repozytorium wshobson/agents w konfiguracji pluginów data-engineering.

2. Zdefiniuj podstawową strukturę DAG-a, tworząc plik w katalogu dags/ z importami datetime, DAG i operatorami (PythonOperator, EmptyOperator lub innymi dostępnymi w Airflow).

3. Skonfiguruj default_args z parametrami właściciela, liczby ponowień (retries), opóźnienia między próbami i alertów e-mail na wypadek awarii.

4. Zdefiniuj DAG z dag_id, harmonogramem (schedule), datą startu i opisem, a następnie dodaj zadania (tasks) jako instancje operatorów.

5. Ustal zależności między zadaniami, używając operatorów >> dla przepływu liniowego, fan-out (jedno zadanie prowadzące do wielu) lub fan-in (wiele zadań prowadzących do jednego).

6. Przetestuj DAG lokalnie przed wdrożeniem, sprawdzając poprawność składni, zależności i logiki każdego operatora, a następnie wdróż w produkcji z monitorowaniem logów i alertów.