databricks-data-handling
Implement Delta Lake data management patterns including GDPR, PII handling, and data lifecycle.\nUse when implementing data retention, handling GDPR requests,\nor managing data lifecycle in Delta Lake.\nTrigger with phrases like \
Installation
Pick a client and clone the repository into its skills directory.
Installation
About this skill
Implement Delta Lake data management patterns including GDPR, PII handling, and data lifecycle.\nUse when implementing data retention, handling GDPR requests,\nor managing data lifecycle in Delta Lake.\nTrigger with phrases like \
How to use
Upewnij się, że masz włączony Unity Catalog w swoim Databricks workspace oraz dostęp administratora do tagów i funkcji maskowania. Skill wymaga zrozumienia wymogów klasyfikacji danych (GDPR, CCPA, HIPAA).
Zaklasyfikuj tabele i kolumny za pomocą tagów Unity Catalog. Dodaj tagi do tabel wskazujące typ danych (PII, CONFIDENTIAL, INTERNAL) i liczbę dni przechowywania. Następnie oznacz poszczególne kolumny zawierające dane osobowe tagami określającymi typ PII (email, phone, name).
Skonfiguruj funkcje maskowania dla kolumn zawierających dane wrażliwe. Skill pomaga zdefiniować reguły maskowania na poziomie kolumn, które automatycznie ukrywają lub anonimizują dane osobowe dla użytkowników bez odpowiednich uprawnień.
Wdróż workflow obsługi wniosków GDPR (prawo do usunięcia). Skill zawiera wzorce do identyfikacji i usunięcia wszystkich danych związanych z konkretnym użytkownikiem na podstawie tagów klasyfikacyjnych.
Ustaw automatyczne egzekwowanie polityki przechowywania danych. Skonfiguruj procesy, które automatycznie usuwają dane po upływie okresu przechowywania określonego w tagach tabel.
Generuj raporty dostępu do danych (SAR - Subject Access Request) dla użytkowników. Skill wspiera tworzenie raportów pokazujących, jakie dane osobowe są przechowywane dla konkretnego podmiotu.