Remote Data Platform Engineer

Czego szukamy

Szukamy inżyniera z solidnym backgroundem data engineeringowym, który rozumie również warstwę infrastrukturalną — lub chce tę kompetencję świadomie rozwinąć.

Codzienne zadania

• Rozwój platformy danych — implementacja nowych funkcjonalności, rozbudowa warstw medallion, optymalizacja pipelines
• Utrzymanie i monitoring infrastruktury — AKS, Airflow, Airbyte, storage; reagowanie na incydenty, dbanie o stabilność środowiska
• Integracja źródeł danych — podpinanie nowych systemów źródłowych przez Airbyte, konfiguracja connectorów, obsługa edge cases
• Infrastruktura jako kod — zarządzanie zasobami Azure przez Terraform i Helm, utrzymanie repo jako jedynego źródła prawdy
• Jakość danych — konfiguracja i utrzymanie walidacji Great Expectations, nadzór nad quarantine, reagowanie na anomalie
• Dokumentacja i katalog danych — utrzymanie OpenMetadata, dbanie o to żeby system był zrozumiały dla kolejnych osób w zespole
• Onboarding nowych klientów — konfiguracja nowych środowisk w ramach architektury multi-tenant

Nice to have: 

• DuckDB
• Airbyte connectors
• OpenMetadata
• Great Expectations
• medallion architecture / data lakehouse

Stack:

• Apache Airflow, Kedro, Great Expectations, OpenMetadata,
• Airbyte, DuckDB, Azure Blob Storage,
• Azure AKS, Azure Key Vault, ACR, Terraform, Helm, Docker, Python, SQL

Must have

• Azure
• Airflow
• Kubernetes
• Helm
• Terraform
• Python
• SQL
• Docker