D
data-quality-frameworks
Implement data quality validation with Great Expectations, dbt tests, and data contracts. Use when building data quality pipelines, implementing validation rules, or establishing data contracts.
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Implement data quality validation with Great Expectations, dbt tests, and data contracts. Use when building data quality pipelines, implementing validation rules, or establishing data contracts.
How to use
- Zainstaluj Great Expectations za pomocą pip install great_expectations. 2. Zainicjuj projekt poleceniem great_expectations init, które przygotuje strukturę katalogów i konfiguracji. 3. Utwórz nowe źródło danych (datasource) poleceniem great_expectations datasource new, wskazując bazę danych lub plik, które chcesz monitorować. 4. Zdefiniuj oczekiwania (expectations) dla swoich kolumn, wybierając odpowiednie testy z dostępnych: expect_column_values_to_not_be_null dla kompletności, expect_column_values_to_be_unique dla unikalności, expect_column_values_to_be_in_set dla ważności wartości. 5. Dla bardziej zaawansowanych scenariuszy skonfiguruj testy dbt w swoim projekcie, aby pokryć walidację na poziomie tabel i relacji między tabelami. 6. Zintegruj walidację z potokiem CI/CD, aby automatycznie uruchamiać testy przy każdym wdrożeniu nowych danych lub zmianach schematu.