Senior Data Engineer (m/w/d)
emagine
Rola polega na wspieraniu rozwoju i migracji platformy analitycznej do architektury Lakehouse w Azure Databricks dla klienta z sektora ubezpieczeń. Będziesz projektować odporne na błędy pipeline'y danych, administrować obszarami roboczymi Databricks, integrować narzędzia CI/CD (GitLab/GitHub Actions) oraz zarządzać migracją zasobów między tenantami Azure. To stanowisko kontraktowe (15 miesięcy) w firmie konsultingowej, gdzie pracujesz dla konkretnego projektu.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: brak informacji o liczbie dni hybrydowych, nie podano wielkości zespołu ani struktury.
Rola polega na wspieraniu rozwoju i migracji platformy analitycznej do architektury Lakehouse w Azure Databricks dla klienta z sektora ubezpieczeń. Będziesz projektować odporne na błędy pipeline'y danych, administrować obszarami roboczymi Databricks, integrować narzędzia CI/CD (GitLab/GitHub Actions) oraz zarządzać migracją zasobów między tenantami Azure. To stanowisko kontraktowe (15 miesięcy) w firmie konsultingowej, gdzie pracujesz dla konkretnego projektu.
- ✓Interesujący projekt migracyjny z modernizacją CI/CD (GitLab → GitHub Actions)
- ✓Praca z nowoczesnym stackiem: Azure Databricks, Unity Catalog, Delta Lake
- ✓Autonomia techniczna w projektowaniu pipeline'ów i workspace'ów
- −Firma konsultingowa – możliwy brak wpływu na roadmapę produktu
- !Nie podano wielkości zespołu ani struktury raportowania
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Projektowanie i implementacja data pipeline'ów w PySpark z użyciem Databricks
- •Administracja Databricks Workspaces – zarządzanie uprawnieniami, Unity Catalog, strukturami dostępu
- •Migracja istniejących zasobów, danych i pipeline'ów między tenantami Azure
- •Integracja GitLab CI/CD z GitHub Actions oraz automatyzacja deploymentu z Declarative Automation Bundles (DAB)
- •Testowanie automatyczne pipeline'ów danych i zapewnienie jakości poprzez Data Contracts
- •Tworzenie dashboardów monitorujących i automatyczne provisionowanie grup uprawnień
- •Współpraca z zespołem przy definiowaniu strategii partycjonowania danych w Delta Lake
- •Wycofywanie zasobów w starym tenancie Azure
Oferta dla doświadczonych specjalistów (Senior).
Inżynier danych ze średnim doświadczeniem (mid) w Databricks i PySpark, który potrafi administrować workspace'ami i tworzyć pipeline'y z CI/CD. Wymagana znajomość Unity Catalog i praktyka z testowaniem pipeline'ów.
Nie dla juniorów ani osób bez doświadczenia w administracji Databricks Workspaces i Unity Catalog. Rola wymaga głębokiej znajomości platformy, nie tylko podstawowego użytkowania.
- ?Ile dni w tygodniu wymagana jest obecność w biurze w Kolonii?
- ?Jaka jest wielkość zespołu, z którym będę współpracować?
- ?Jak wygląda on-call / dyżury – czy są przewidziane?
- ?Czy są jakieś konkretne certyfikacje wymagane do tej roli?
- ?Jaki jest budżet na szkolenia lub konferencje?
- −Brak informacji o liczbie dni hybrydowych
- −Nie podano wielkości zespołu ani struktury
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo, czy oferowane są jakieś benefity (np. ubezpieczenie, karta sportowa)