Data Quality Automation Engineer
N-iX
To rola Data Quality Automation Engineer skupiona na zapewnianiu jakości danych w środowisku Databricks. Pracujesz nad walidacją danych w pipeline'ach ETL/ELT, definiujesz reguły jakości, automatyzujesz kontrole i monitorujesz raporty BI. Rola jest po stronie konsultingu/outsourcingu dla klienta z branży ubezpieczeń. Stack: Databricks, PySpark, SQL, dbt, Power BI. To nie jest typowa rola testera ani inżyniera danych – łączysz analitykę danych z automatyzacją jakości.
Brakuje: brak opisu procesu rekrutacyjnego, nie podano wielkości zespołu ani liczby projektów.
To rola Data Quality Automation Engineer skupiona na zapewnianiu jakości danych w środowisku Databricks. Pracujesz nad walidacją danych w pipeline'ach ETL/ELT, definiujesz reguły jakości, automatyzujesz kontrole i monitorujesz raporty BI. Rola jest po stronie konsultingu/outsourcingu dla klienta z branży ubezpieczeń. Stack: Databricks, PySpark, SQL, dbt, Power BI. To nie jest typowa rola testera ani inżyniera danych – łączysz analitykę danych z automatyzacją jakości.
- ✓Konkretny i nowoczesny stack (Databricks, dbt, Spark)
- ✓Program rozwoju zawodowego, mentoring, społeczności tech
- ✓Firma z ugruntowaną pozycją (500+ pracowników)
- !Brak informacji o liczbie zespołów i ich strukturze
- !Brak opisu procesu rekrutacyjnego
- !Nie wiadomo, ile projektów będzie się obsługiwać równocześnie
- !Rola konsultingowa – możliwa zmiana projektów w czasie
- •Definiowanie i implementacja reguł jakości danych dla warstw ingestion, transformation i raportowania w Databricks
- •Walidacja poprawności transformacji PySpark/SQL w pipeline'ach (schema, nulls, duplikaty, zakresy)
- •Ustawianie automatycznych testów walidacyjnych i alertów dla zbiorów danych
- •Monitorowanie raportów Power BI pod kątem zgodności z danymi źródłowymi
- •Identyfikacja i rejestracja problemów z jakością danych wraz z analizą przyczyn źródłowych
- •Współpraca z data engineerami i analitykami w celu naprawy błędów danych
- •Budowanie zautomatyzowanego monitoringu jakości danych i alertów
- •Utrzymywanie dokumentacji reguł jakości i metryk defektów
Oferta dla doświadczonych specjalistów (Senior).
Mid-level specjalista ds. jakości danych z 3-4 latami doświadczenia, solidną znajomością SQL i podstawami PySpark, który chce rozwijać się w kierunku automatyzacji walidacji danych w Databricks.
Osoby szukające klasycznej roli testera oprogramowania (UI/API) lub pure data engineera – tutaj główny nacisk na jakość danych, nie na budowanie pipeline'ów. Juniorzy bez doświadczenia w Databricks i SQL nie będą pasować.
- ?Ile osób liczy zespół data quality / data governance u klienta?
- ?Czy Great Expectations jest już używane, czy to nowość?
- ?Jak wygląda współpraca z data engineerami – czy DQ Engineer ma wpływ na projektowanie pipeline'ów?
- ?Czy są dyżury on-call lub oczekiwanie na reakcję poza godzinami pracy?
- ?Jak mierzona jest skuteczność działań data quality – czy są konkretne KPI?
- ?Czy klient korzysta z AWS, czy to tylko nice-to-have?
- ?Jaki jest harmonogram transformacji – czy to greenfield czy rozwój istniejącej platformy?
- −Brak opisu procesu rekrutacyjnego
- −Nie podano wielkości zespołu ani liczby projektów
Zespół pracuje w modelu konsultingowym dla klienta z branży ubezpieczeń – atmosfera skupiona na jakości danych i współpracy z inżynierami danych. Firma N-iX oferuje wsparcie rozwoju i społeczności techniczne.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię Databricks. Pełne statystyki zarobków →