Big Data Engineer (Spark/Scala)
DCG
Rola w firmie outsourcingowej DCG, która oznacza pracę na projektach klientów zewnętrznych. Inżynier będzie budować i utrzymywać skalowalne pipeline'y przetwarzania danych w Spark i Scala, pracując z dużymi wolumenami danych (strukturyzowanych i niestrukturyzowanych) w czasie zbliżonym do rzeczywistego. Wymagana jest zaawansowana znajomość Spark, Scala, Python, Hadoop i chmury AWS. Rola wymaga również doświadczenia w testowaniu (Robot Framework), CI/CD i pracy w zwinnych zespołach.
Brakuje: nie podano liczby dni w biurze przy pracy hybrydowej., brak informacji o wielkości zespołu i strukturze projektu..
Rola w firmie outsourcingowej DCG, która oznacza pracę na projektach klientów zewnętrznych. Inżynier będzie budować i utrzymywać skalowalne pipeline'y przetwarzania danych w Spark i Scala, pracując z dużymi wolumenami danych (strukturyzowanych i niestrukturyzowanych) w czasie zbliżonym do rzeczywistego. Wymagana jest zaawansowana znajomość Spark, Scala, Python, Hadoop i chmury AWS. Rola wymaga również doświadczenia w testowaniu (Robot Framework), CI/CD i pracy w zwinnych zespołach.
- ✓Dedykowany konsultant DCG odpowiadający za wsparcie – może pomóc w procesie rekrutacji i onboardingu.
- ✓Program poleceń pracowników – dodatkowa motywacja finansowa.
- −Niespójność między poziomem 'regular' a wymaganiami 7+ lat doświadczenia (raczej senior).
- −Wyjątkowo długi i szczegółowy zestaw wymagań, co może wskazywać na przeciążenie obowiązkami lub nierealistyczne oczekiwania.
- −Wymagania zawierają 3+ lata Robot Framework – nietypowe dla inżyniera Big Data, może sugerować hybrydową rolę z testowaniem.
- !Brak informacji o konkretnym kliencie/projekcie – typowe dla agencji, ale może oznaczać brak stabilności.
- !Wiele wymagań z chmury AWS, ale nie określono zakresu odpowiedzialności (architektura vs. użycie gotowych usług).
- !Model hybrydowy w Łodzi – brak informacji o wymaganej liczbie dni w biurze.
- •Tworzenie i optymalizacja pipeline'ów przetwarzania dużych danych w Apache Spark i Scala
- •Implementacja transformacji danych (enrichment, cleansing) dla struktur danych w Hadoop/Hive
- •Analiza wymagań biznesowych i proponowanie rozwiązań technicznych
- •Pisanie testów jednostkowych i integracyjnych (JUnit 5, Mockito, Spark testing)
- •Kodowanie w Pythonie do skryptów pomocniczych i zadań ETL
- •Praca z narzędziami CI/CD (Jenkins) i systemem kontroli wersji (BitBucket Git)
- •Współpraca z zespołami DevOps, QA i Product Management w cyklu Continuous Delivery
- •Konfiguracja i zarządzanie zadaniami w Jira (Agile/SAFe)
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Inżynier danych z co najmniej 7 latami praktyki w Spark i Scala, 5 latami w Python, oraz solidnym doświadczeniem w Hadoop, testach i AWS. Spełnia wszystkie twarde wymagania, nawet jeśli niektóre są na granicy.
Osoby z mniej niż 7 latami w Spark/Scala lub 5 latami w Python. Również nie dla kandydatów szukających pracy w pełni zdalnej (wymagana hybryda w Łodzi) ani dla tych, którzy preferują stabilne środowisko produktowe zamiast outsourcingu.
- ?Ile dni w tygodniu wymagane jest w biurze w Łodzi?
- ?U jakiego klienta będę pracować i jaka jest skala projektu?
- ?Jak duży jest zespół Big Data, w którym przyjdzie mi pracować?
- ?Czy wymagane jest posiadanie własnego sprzętu, czy firma zapewnia laptop?
- ?Jakie są główne wyzwania techniczne, z którymi zespół się mierzy?
- ?Czy istnieje możliwość pracy zdalnej w niektóre dni, czy hybryda jest sztywna?
- ?Jaki jest proces rekrutacyjny – ile etapów, czy jest zadanie domowe?
- ?Czy rola wiąże się z dyżurami on-call lub pracą w weekendy?
- −Nie podano liczby dni w biurze przy pracy hybrydowej.
- −Brak informacji o wielkości zespołu i strukturze projektu.
- −Nie opisano procesu rekrutacyjnego (liczba etapów, zadania).
- −Brak szczegółów dotyczących benefitu 'stałe wsparcie dedykowanego konsultanta' – co to oznacza w praktyce.
Powyżej mediany rynkowej
≈ 100,0–175,0 zł/h
Dane z aktywnych ofert zawierających technologię Spark. Pełne statystyki zarobków →