Data Engineer/ Databricks
emagine
To rola senior data engineera w modelu konsultingowym (emagine), skupiona na budowie natywnego na Databricks frameworku do monitorowania jakości danych (DQX) w domenie klinicznej (badania leków). Kandydat będzie projektować i wdrażać reguły jakości, pipeline'y ETL/ELT oraz dashboardy dla użytkowników biznesowych. Wymagana jest głęboka znajomość Databricks, Spark, SQL i Python, a także doświadczenie z ramami jakości danych. Rola ma charakter greenfield (nowa inicjatywa) w złożonym środowisku enterprise.
Brakuje: wielkość zespołu, długość projektu / kontraktu.
To rola senior data engineera w modelu konsultingowym (emagine), skupiona na budowie natywnego na Databricks frameworku do monitorowania jakości danych (DQX) w domenie klinicznej (badania leków). Kandydat będzie projektować i wdrażać reguły jakości, pipeline'y ETL/ELT oraz dashboardy dla użytkowników biznesowych. Wymagana jest głęboka znajomość Databricks, Spark, SQL i Python, a także doświadczenie z ramami jakości danych. Rola ma charakter greenfield (nowa inicjatywa) w złożonym środowisku enterprise.
- ✓Remote w pełni
- ✓Interesujący projekt greenfield z użyciem nowego frameworku DQX
- ✓Przejrzysty opis oczekiwań i zakresu
- ✓Możliwość pracy w branży regulowanej (life sciences) – cenne CV
- !Brak informacji o długości projektu (kontrakt terminowy)
- !Brak wzmianki o dyżurach on-call lub pracy w nocy (ale mało prawdopodobne w tej roli)
- !Stawka sztywna (41 eur/h) bez negocjacji – może być poniżej rynku dla seniora
- !Rola konsultingowa – praca u klienta, możliwa presja czasowa
- •Projektowanie i implementacja frameworku DQX na Databricks
- •Konfiguracja reguł jakości danych w DQX
- •Tworzenie pipeline'ów ETL/ELT w Spark i Delta Lake
- •Opracowywanie modeli danych dla monitorowania i raportowania
- •Tworzenie dashboardów i widoków trendów dla użytkowników biznesowych
- •Dokumentacja projektu technicznego, logiki reguł i modelu operacyjnego
- •Współpraca z właścicielami danych przy definiowaniu reguł jakości
- •Skalowanie rozwiązania na kolejne domeny danych klinicznych
Oferta dla doświadczonych specjalistów (Senior).
Senior data engineer z minimum 5 latami doświadczenia w Databricks, znajomością Spark/Python/SQL i udokumentowanym projektem związanym z monitorowaniem jakości danych (nawet bez DQX). Osoba gotowa szybko wdrożyć się w domenę kliniczną.
Juniorzy ani mid-level developerzy bez głębokiego doświadczenia z Databricks i jakością danych. Osoby szukające stałego etatu (tu B2B) lub pracy mniej technicznej (np. bardziej analitycznej).
- ?Jaka jest wielkość zespołu i z kim będę współpracować?
- ?Jaka jest przewidywana długość kontraktu i szansa na przedłużenie?
- ?Czy są narzucone godziny pracy czy elastyczne?
- ?Jakie narzędzia dashboardingowe będą używane (Power BI, Tableau)?
- ?Czy istnieje możliwość pracy z Azure DevOps i CI/CD od razu?
- ?Jaki jest poziom autonomii technicznej w podejmowaniu decyzji architektonicznych?
- −Wielkość zespołu
- −Długość projektu / kontraktu
- −Proces rekrutacyjny (etapy, zadanie domowe)
- −Narzędzia do dashboardów (np. Power BI, Tableau)
- −Czy wymagane są certyfikacje (np. Databricks)