Middle Data Engineer
N-iX
To rola Data Engineera w zespole pracującym dla globalnej korporacji z sektora FMCG. Na co dzień będziesz projektować, budować i utrzymywać pipeline'y danych (batch i near real-time), optymalizować modele danych w Snowflake przy użyciu dbt i ADF, oraz zapewniać jakość i integralność danych. Pracujesz w chmurze Azure, piszesz wydajny SQL i Python, współpracujesz z analitykami i data scientistami. To typowa rola inżyniera danych w dużym przedsiębiorstwie z nowoczesnym stackiem.
Brakuje: brak informacji o narzędziach do monitoringu i alertowania (np. datadog, grafana), nie wiadomo, jak duże są zbiory danych (skala tb/pb).
To rola Data Engineera w zespole pracującym dla globalnej korporacji z sektora FMCG. Na co dzień będziesz projektować, budować i utrzymywać pipeline'y danych (batch i near real-time), optymalizować modele danych w Snowflake przy użyciu dbt i ADF, oraz zapewniać jakość i integralność danych. Pracujesz w chmurze Azure, piszesz wydajny SQL i Python, współpracujesz z analitykami i data scientistami. To typowa rola inżyniera danych w dużym przedsiębiorstwie z nowoczesnym stackiem.
- ✓Nowoczesny stack danych (Snowflake, dbt, ADF, Azure)
- ✓Praca dla globalnej marki FMCG – stabilność i prestiż
- ✓Jasno określone wymagania i zakres obowiązków
- !Wymóg 'Azure Ops experience: provisioning and configuring' sugeruje obowiązki operacyjne/infrastrukturalne wykraczające poza typowe data engineering
- !Nie podano wielkości zespołu ani liczby pipeline'ów – może to oznaczać duże obciążenie
- !Near real-time pipeline'y mogą wymagać dyżurów, ale nie ma wzmianki o on-call
- !Nice-to-have Docker i Spark mogą stać się wymagane w trakcie projektu
- •Projektowanie i implementacja pipeline'ów danych batch i near real-time w Snowflake i ADF
- •Rozwijanie i optymalizacja modeli danych (gwiazda, snowflake) przy użyciu dbt
- •Pisanie wydajnych zapytań SQL (joiny, agregacje, funkcje okienkowe) dla dużych zbiorów danych
- •Utrzymanie i monitorowanie ETL/ELT, rozwiązywanie problemów z wydajnością pipeline'ów
- •Współpraca z analitykami i data scientistami w celu zrozumienia wymagań danych
- •Zapewnianie jakości danych poprzez walidację i testowanie
- •Praca z chmurą Azure – provisioning i konfiguracja zasobów
- •Refaktoryzacja istniejących pipeline'ów w celu poprawy wydajności
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Data Engineer z około 2-letnim doświadczeniem, który solidnie zna SQL i Pythona, ma podstawową praktykę z Snowflake i ADF, oraz chce rozwijać się w chmurze Azure.
Osoby z małym doświadczeniem (poniżej 2 lat) lub szukające pracy czysto developerskiej bez obróbki danych. Nie jest to rola dla architekta – wymaga dużo pracy ręcznej przy pipeline'ach.
- ?Ile osób liczy zespół data engineering i czy są podzieleni na podzespoły?
- ?Jaki jest zakres odpowiedzialności za Azure Ops – czy to dedykowana rola, czy dzielona z DevOps?
- ?Jakie są SLA dla pipeline'ów i czy są dyżury on-call?
- ?Jaki jest stosunek pracy z Snowflake do pracy z ADF w codziennych zadaniach?
- ?Czy istnieje możliwość wpływu na wybór narzędzi i architekturę?
- ?Jak długi jest onboarding i jak wygląda współpraca z zespołem klienta?
- ?Czy są planowane migracje danych lub modernizacja legacy systemów?
- −Brak informacji o narzędziach do monitoringu i alertowania (np. DataDog, Grafana)
- −Nie wiadomo, jak duże są zbiory danych (skala TB/PB)
- −Brak opisu procesu rekrutacyjnego (liczba etapów, zadanie domowe, rozmowy techniczne)
Współpraca z analitykami, data scientistami i zespołami produktowymi w dużej korporacji – oczekiwana jest samodzielność i dobra komunikacja.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię DBT. Pełne statystyki zarobków →