Data Engineer Azure
Connectis
Rola Data Engineer w globalnym projekcie budowy platformy danych (Global Data Mart) dla międzynarodowej instytucji finansowej. Codzienna praca to tworzenie i optymalizacja pipeline'ów ETL w Azure Databricks (PySpark, Spark SQL), współpraca z data modelerami oraz zespołami governance, a także migracja danych z legacy do chmury Azure. Osoba na tym stanowisku będzie pracować w modelu hybrydowym (2 dni w biurze we Wrocławiu, 3 dni zdalnie) jako część zespołu Agile.
Brakuje: brak informacji o wielkości zespołu i strukturze hierarchicznej, nie określono, czy są dyżury on-call i jaka jest ich częstotliwość.
Rola Data Engineer w globalnym projekcie budowy platformy danych (Global Data Mart) dla międzynarodowej instytucji finansowej. Codzienna praca to tworzenie i optymalizacja pipeline'ów ETL w Azure Databricks (PySpark, Spark SQL), współpraca z data modelerami oraz zespołami governance, a także migracja danych z legacy do chmury Azure. Osoba na tym stanowisku będzie pracować w modelu hybrydowym (2 dni w biurze we Wrocławiu, 3 dni zdalnie) jako część zespołu Agile.
- ✓Długofalowa współpraca w międzynarodowym projekcie enterprise
- ✓Nowoczesny stack: Azure Databricks, Data Lakehouse, PySpark
- ✓Możliwość udziału w migracji danych z legacy do chmury – ciekawe wyzwanie techniczne
- ✓Budżet na polecenia (5000 PLN) i wsparcie dedykowanej osoby kontaktowej
- !Rozbieżność: dane strukturalne wskazują tryb 'office', a opis pracy mówi o hybrydzie (2 dni w biurze) – należy doprecyzować model pracy
- !Proces rekrutacji z AI Rekruterem może być mniej transparentny – brak informacji o rozmowach technicznych
- !Brak wzmianki o wielkości zespołu i liczbie równoległych projektów
- •Tworzenie i optymalizacja notebooków PySpark i Spark SQL w Databricks do ETL oraz generowania plików SFF
- •Przygotowywanie dokumentacji technicznej (BRD, SRD, DDL) na podstawie wymagań biznesowych
- •Współpraca z Data Modelerami przy mapowaniu data source-to-staging i definiowaniu tabel
- •Wsparcie Data Governance: zarządzanie data lineage, katalogowanie danych
- •Monitorowanie i optymalizacja wydajności SQL i Spark, tuning jobów
- •Konfiguracja i utrzymanie tabel Ingestion Framework dla automatycznego ładowania danych
- •Udział w ceremoniach Agile (Sprint Planning, Retrospectives) oraz design/code review
- •Udział w migracjach danych z systemów legacy do Azure Data Lake
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z ok. 5-6 letnim doświadczeniem, który poznał już Azure Databricks i PySpark, ale może potrzebować wsparcia przy bardziej złożonych zagadnieniach Data Governance i migracji legacy. Znajomość SQL i T-SQL jest wymagana.
Nie dla kandydatów z mniej niż 5 latami doświadczenia w Data Engineering, ani dla osób niechętnych do regularnych wizyt w biurze we Wrocławiu (2 dni w tygodniu). Rola nie jest odpowiednia dla juniorów ani dla osób szukających w pełni zdalnej współpracy.
- ?Ile osób liczy zespół Data Engineering i jakie są role w projekcie?
- ?Jaki jest przewidywany czas trwania projektu i czy istnieje możliwość przedłużenia?
- ?Czy w projekcie przewidziane są dyżury on-call?
- ?Jakie narzędzia CI/CD są używane w procesie ETL?
- ?Czy istnieje możliwość pracy zdalnej w pełnym wymiarze po okresie onboardingu?
- ?Jak wygląda proces decyzyjny dotyczący wyboru narzędzi Data Governance (lineage, catalog)?
- ?Czy są jakieś plany migracji konkretnych systemów legacy, które będą priorytetem?
- −Brak informacji o wielkości zespołu i strukturze hierarchicznej
- −Nie określono, czy są dyżury on-call i jaka jest ich częstotliwość
- −Brak wzmianki o budżecie szkoleniowym lub konferencjach
- −Nie wiadomo, jakie narzędzia CI/CD są używane
- −Brak szczegółów dotyczących procesu rekrutacji poza rozmową z AI
Praca w międzynarodowym zespole Agile z naciskiem na współpracę (ceremonie Agile, design/code review). Wsparcie dedykowanej osoby kontaktowej z Connectis.
Rozmowa z wirtualnym rekruterem AI (AIR) – możliwe wielokrotne podejścia, liczy się ostatnia wersja. Finalną decyzję podejmuje rekruter Connectis. Brak informacji o dalszych etapach technicznych.
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Azure. Pełne statystyki zarobków →