Senior Data Engineer (F/M)
Astek
Rola Senior Data Engineera w Astek, przy projekcie dla klienta z branży automotive. Będziesz budować rozproszone, zrównoleglone potoki przetwarzania dużych zbiorów danych przy użyciu Spark, Scala i Python na platformie Hadoop. Praca w środowisku międzynarodowym, długofalowy projekt. Mimo tytułu Data Engineer, rola jest czysto inżynierska – skupiona na implementacji pipeline'ów i automatyzacji, bez zarządzania zespołem.
Brakuje: nie podano dokładnej lokalizacji (warszawa czy trójmiasto) – obie są wymienione, brak informacji o wielkości zespołu i strukturze projektu.
Rola Senior Data Engineera w Astek, przy projekcie dla klienta z branży automotive. Będziesz budować rozproszone, zrównoleglone potoki przetwarzania dużych zbiorów danych przy użyciu Spark, Scala i Python na platformie Hadoop. Praca w środowisku międzynarodowym, długofalowy projekt. Mimo tytułu Data Engineer, rola jest czysto inżynierska – skupiona na implementacji pipeline'ów i automatyzacji, bez zarządzania zespołem.
- ✓Długoterminowa współpraca (projekt długofalowy)
- ✓Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
- ✓Mentoring i członkostwo w Competence Center z możliwością uczestnictwa w konferencjach
- ✓Jasna ścieżka kariery
- ✓Praca w środowisku międzynarodowym z nowoczesnymi rozwiązaniami data
- !Sprzeczność w trybie pracy: dane strukturalne wskazują 'office', a opis mówi o hybrydzie (3 dni z biura w Warszawie lub Trójmieście) – warto doprecyzować
- !Nie określono liczby dyżurów on-call ani oczekiwań co do dostępności po godzinach
- !Brak informacji o procesie rekrutacyjnym (liczba etapów, zadanie domowe itp.)
- •Budowa i utrzymanie rozproszonych potoków danych w Spark i Scala na Hadoop
- •Transformacja danych ustrukturyzowanych i nieustrukturyzowanych przy użyciu Spark SQL i Python
- •Automatyzacja procesów oraz zapewnianie powtarzalności i niezawodności pipeline'ów
- •Pisanie testów jednostkowych (JUnit 5, Mockito, Spark) dla kodu danych
- •Zarządzanie kodem źródłowym w BitBucket i GIT (code review, branch management)
- •Praca z Hive, Oozie, MapReduce i innymi komponentami Hadoop
- •Ciągłe dostarczanie (CD) na platformy Big Data
- •Analiza i optymalizacja zapytań SQL
Oferta dla doświadczonych specjalistów (Senior).
Doświadczony data engineer z solidną praktyką w Spark (przynajmniej kilka lat), Pythonie i SQL, który spełnia część wymagań dotyczących lat doświadczenia i jest gotowy do pracy w outsourcingu u klienta z branży automotive.
Osoby z mniej niż 5-letnim doświadczeniem w Pythonie lub bez praktycznej znajomości Spark i Hadoop. Rola nie jest odpowiednia dla juniorów ani mid-level developerów bez ugruntowanej wiedzy o rozproszonym przetwarzaniu danych.
- ?Czy rola jest u klienta końcowego, czy wewnątrz Astek?
- ?Jaki jest skład zespołu i z kim będę współpracować na co dzień?
- ?Czy przewidziane są dyżury on-call? Jeśli tak, z jaką częstotliwością?
- ?Jakie narzędzia do automatyzacji i CI/CD są używane (np. Jenkins, Airflow)?
- ?Czy istnieje możliwość pracy zdalnej w większym wymiarze?
- ?Jak wygląda proces rekrutacyjny (ile etapów, czy jest zadanie domowe)?
- −Nie podano dokładnej lokalizacji (Warszawa czy Trójmiasto) – obie są wymienione
- −Brak informacji o wielkości zespołu i strukturze projektu
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo, czy praca jest bezpośrednio u klienta, czy w biurze Astek
- −Brak informacji o dostępności budżetu szkoleniowego (poza ogólnym stwierdzeniem o szkoleniach)
Międzynarodowe środowisko, mentoring, Competence Center od pierwszego dnia, imprezy integracyjne i spotkania team-buildingowe – kultura oparta na dzieleniu się wiedzą i ciągłym rozwoju.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię Spark. Pełne statystyki zarobków →