Senior Data Engineer (Spark)
Addepto
Senior Data Engineer odpowiedzialny za budowę i utrzymanie skalowalnych platform danych dla klientów z branży automotive i aerospace. Praca obejmuje projektowanie pipeline'ów strumieniowych i batchowych, optymalizację przepływów danych, zarządzanie data lake (Iceberg) oraz współpracę z klientami w modelu konsultingowym. Stack technologiczny: Spark, Airflow, AWS, Python.
Brakuje: nie podano szczegółów procesu rekrutacyjnego, brak informacji o wielkości zespołu.
Senior Data Engineer odpowiedzialny za budowę i utrzymanie skalowalnych platform danych dla klientów z branży automotive i aerospace. Praca obejmuje projektowanie pipeline'ów strumieniowych i batchowych, optymalizację przepływów danych, zarządzanie data lake (Iceberg) oraz współpracę z klientami w modelu konsultingowym. Stack technologiczny: Spark, Airflow, AWS, Python.
- ✓Elastyczne godziny pracy
- ✓Budżet szkoleniowy i certyfikacje Databricks
- ✓Płatne dni wolne na B2B
- ✓Międzynarodowe projekty z topowymi firmami
- ✓Możliwość publikacji i konferencji
- ✓Płaska struktura i autonomia
- !Wymagane doświadczenie konsultingowe i bezpośrednia interakcja z klientem – nie każdy inżynier to lubi
- !Różnorodność technologii (Spark, Cloudera, Airflow, Iceberg, Kafka) może świadczyć o złożoności stacku
- !Brak informacji o liczbie projektów jednocześnie
- •Projektowanie i implementacja pipeline'ów danych w trybie streamingowym i batchowym przy użyciu Spark, Airflow, Kafka
- •Optymalizacja wydajności procesów ETL i zarządzanie data lake (Iceberg)
- •Pisanie kodu w Pythonie (lub Java/Scala) do przetwarzania danych i automatyzacji
- •Monitorowanie i troubleshootowanie platformy danych w produkcji
- •Współpraca z zespołami klienta w celu zrozumienia wymagań biznesowych
- •Udział w konsultacjach i prezentacjach dla klientów
- •Zarządzanie infrastrukturą chmurową (AWS) dla skalowania obciążeń
Oferta dla doświadczonych specjalistów (Senior).
Osoba z 5 latami w Big Data, solidnym Pythonem i Sparkiem, radząca sobie samodzielnie, z komunikatywnym angielskim i otwartością na pracę z klientem.
Kandydaci bez doświadczenia w Big Data lub bez umiejętności konsultingowych. Osoby szukające spokojnej roli bez kontaktu z klientem lub preferujące wyłącznie jeden stack technologiczny.
- ?Ile osób liczy zespół data engineering z którym będę pracować?
- ?Czy pracuję nad jednym projektem naraz, czy multiple?
- ?Jak wygląda dyżur (on-call) – czy jest, jak często?
- ?Jaki jest proces rekrutacyjny – ile etapów i jakie są ich rodzaje?
- ?Jakie konkretnie narzędzia chmurowe (AWS) są używane w projektach?
- ?Czy w projektach używane jest Scala/Java czy tylko Python?
- −Nie podano szczegółów procesu rekrutacyjnego
- −Brak informacji o wielkości zespołu
- −Nie wiadomo, czy jest dyżur on-call
- −Nie sprecyzowano, ile projektów jednocześnie realizuje inżynier
Kultura zespołu oparta na pasji do AI i Big Data, wspierająca i autonomiczna, z naciskiem na rozwój i dzielenie się wiedzą.
Na poziomie rynkowym
≈ 125,0–170,0 zł/h
Dane z aktywnych ofert zawierających technologię Spark. Pełne statystyki zarobków →