Senior Data Engineer (Python, Databricks)
Craftware
Rola Senior Data Engineer w Craftware. Będziesz budować i utrzymywać pipeline'y danych na platformie Databricks, migrować konfiguracje do natywnego wzorca Databricks Asset Bundle (DAB), dbać o spójność środowisk DEV/QAS/PRD, profilować nowe źródła danych oraz definiować kryteria akceptacji. Praca w modelu zdalnym, B2B, w zespole realizującym projekty end-to-end dla dużych organizacji.
Brakuje: nie podano wielkości zespołu, brak opisu procesu rekrutacyjnego.
Rola Senior Data Engineer w Craftware. Będziesz budować i utrzymywać pipeline'y danych na platformie Databricks, migrować konfiguracje do natywnego wzorca Databricks Asset Bundle (DAB), dbać o spójność środowisk DEV/QAS/PRD, profilować nowe źródła danych oraz definiować kryteria akceptacji. Praca w modelu zdalnym, B2B, w zespole realizującym projekty end-to-end dla dużych organizacji.
- ✓Dedykowany budżet certyfikacyjny
- ✓Wsparcie codzienne od liderów zespołu
- ✓Assistance w definiowaniu ścieżki rozwoju
- ✓Wycieczki integracyjne
- !Oczekiwanie komfortowej pracy z niekompletną dokumentacją i zmieniającym się zakresem – może oznaczać chaos organizacyjny
- !Brak informacji o wielkości zespołu i liczbie projektów
- •Budowa i utrzymanie pipeline'ów DAB oraz konfiguracji transformacji YAML
- •Migracja istniejących konfiguracji do natywnych wzorców Databricks Asset Bundle
- •Utrzymywanie spójności środowisk DEV, QAS i PRD bez dryfu
- •Ocena nowych źródeł danych przed sprintem – kształt, objętość, ryzyka jakościowe – i pisanie notatek dotyczących wykonalności
- •Tworzenie transformacji PySpark w warstwach Raw, Quality Integration i Curated zgodnie ze standardami CDA
- •Definiowanie i uruchamianie testów uzgodnień danych (data reconciliation) oraz kryteriów akceptacji
- •Profilowanie danych źródłowych i definiowanie kryteriów akceptacji bez pośrednictwa analityka biznesowego
Oferta dla doświadczonych specjalistów (Senior).
Senior Data Engineer z solidnym doświadczeniem w Databricks i PySpark, znający Azure DevOps i SQL na poziomie zaawansowanym. Osoba, która radzi sobie z niekompletną dokumentacją i potrafi samodzielnie przeprowadzić proces od źródła do akceptacji.
Juniorzy i midzi bez głębokiego, praktycznego doświadczenia z Azure Databricks i PySpark – wymagana jest samodzielność w pracy z danymi i CI/CD.
- ?Ile osób liczy zespół Data Engineering, z którym będę pracować?
- ?Nad iloma projektami jednocześnie pracuje się w Craftware?
- ?Jaki jest zakres migracji do DAB – czy to jeden projekt, czy wiele?
- ?Czy na projekcie stosujemy on-call? Jeśli tak, jak często?
- ?Jakie są najbliższe plany rozwojowe dla platformy Databricks?
- ?Czy istnieje możliwość wpływu na wybór narzędzi i architekturę?
- ?Jak wygląda proces onboardingu i wsparcie w pierwszych tygodniach?
- −Nie podano wielkości zespołu
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo, czy praca obejmuje dyżury on-call
- −Brak informacji o liczbie rynków/projektów, które będą obsługiwane
Profesjonalne środowisko zorientowane na dostarczanie projektów end-to-end dla dużych organizacji. Firma stawia na rozwój i wsparcie liderów zespołu.
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię CI/CD. Pełne statystyki zarobków →