Inżynier / Inżynierka Danych (Azure / Microsoft Fabric)
LOTTE Wedel
Rola polega na budowie i utrzymaniu infrastruktury danych w chmurze Azure z wykorzystaniem Microsoft Fabric. Inżynier danych będzie projektować pipeline'y pobierające dane z systemów produkcyjnych (SAP, MES) i zewnętrznych, przekształcać je w warstwie bronze/silver przy pomocy PySpark i Spark SQL, a następnie udostępniać analitykom w warstwie gold. Dodatkowo obejmuje administrację środowiskiem Fabric/Azure, monitoring i optymalizację kosztów.
Brakuje: nie podano liczby osób w zespole, brak opisu procesu rekrutacyjnego.
Rola polega na budowie i utrzymaniu infrastruktury danych w chmurze Azure z wykorzystaniem Microsoft Fabric. Inżynier danych będzie projektować pipeline'y pobierające dane z systemów produkcyjnych (SAP, MES) i zewnętrznych, przekształcać je w warstwie bronze/silver przy pomocy PySpark i Spark SQL, a następnie udostępniać analitykom w warstwie gold. Dodatkowo obejmuje administrację środowiskiem Fabric/Azure, monitoring i optymalizację kosztów.
- ✓Praca w uznanej firmie (LOTTE Wedel) z ciekawymi benefitami (np. jeden krótszy dzień pracy, dostęp do nowości Wedla)
- ✓Budowa data platformy od zera (greenfield) – możliwość realnego wpływu na architekturę
- ✓Stabilne zatrudnienie (permanent) z atrakcyjnym przedziałem wynagrodzenia
- !Środowisko greenfield oznacza, że trzeba wiele rzeczy budować od zera – może być dużo pracy koncepcyjnej
- !Nie określono konkretnego modelu hybrydowego (ile dni w biurze)
- !Monitoring i reagowanie na incydenty sugerują dyżury – brak informacji o harmonogramie on-call
- !Wymagana 'samodzielność, odpowiedzialność, proaktywność' – może wskazywać na brak wsparcia ze strony zespołu
- •Projektowanie i implementacja pipeline'ów danych od systemów źródłowych do warstwy analitycznej
- •Pisanie skryptów PySpark i Spark SQL do transformacji danych (bronze/silver)
- •Administracja workspace'ami Microsoft Fabric, zarządzanie zasobami Azure (Storage, Key Vault, IAM)
- •Monitorowanie pipeline'ów, analiza alertów i reagowanie na incydenty
- •Współpraca z analitykami przy definiowaniu modeli danych w warstwie gold
- •Optymalizacja wydajności przetwarzania oraz zapewnienie jakości danych
- •Konfiguracja i utrzymanie CI/CD z użyciem Git/GitHub
- •Dokumentowanie procesów i architektury danych
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Inżynier danych z przynajmniej 2-3 letnim doświadczeniem, który praktycznie zna Azure (Storage, Networking) i Spark (PySpark), ale może dopiero uczyć się Microsoft Fabric. Potrafi samodzielnie tworzyć pipeline'y i rozumie znaczenie Data Quality.
Osoby bez doświadczenia w Azure i Spark – kluczowe technologie są wymagane. Nie dla juniorów, którzy nie mieli jeszcze styczności z produkcyjnymi pipeline'ami danych.
- ?Ile osób liczy zespół Data Engineering i jakie są role w zespole?
- ?Czy dyżury on-call są planowane? Jeśli tak, jaka jest rotacja i czy są dodatkowo płatne?
- ?Jak wygląda obecna infrastruktura danych? Czy jakieś pipeline'y już istnieją?
- ?Jaki jest stosowany system kontroli wersji i narzędzie CI/CD?
- ?Czy przewidziane są szkolenia z Microsoft Fabric?
- ?Jakie są główne źródła danych oprócz SAP i MES?
- ?Jak wygląda proces decyzyjny w kwestii doboru narzędzi?
- ?Czy istnieje osobny zespół DevOps/Cloud, czy inżynier danych sam zarządza infrastrukturą?
- −Nie podano liczby osób w zespole
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo, czy dyżury on-call są wymagane i jak często
- −Brak informacji o istniejącej infrastrukturze (czy zielona trawa, czy brownfield)
- −Nie określono konkretnych dni pracy stacjonarnej (model hybrydowy)
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Microsoft Azure.