Senior Big Data Engineer (Scala/Spark/AWS)
emagine
Rola koncentruje się na budowie skalowalnych potoków Big Data w środowisku bankowym (Grupa ds. Zapobiegania Przestępstwom Finansowym). Na co dzień będziesz pracować głównie z Scala, Spark i Pythonem, tworząc i optymalizując rozproszone przetwarzanie danych w czasie bliskim rzeczywistemu. Wymagane jest także testowanie automatyzacyjne (Robot Framework) oraz ścisła współpraca z DevOps, QA i Product Management w podejściu Continuous Delivery. To rola mocno techniczna i produkcyjna – nie architektoniczna ani zarządcza.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: wielkość zespołu, długość projektu i perspektywy rozwojowe.
Rola koncentruje się na budowie skalowalnych potoków Big Data w środowisku bankowym (Grupa ds. Zapobiegania Przestępstwom Finansowym). Na co dzień będziesz pracować głównie z Scala, Spark i Pythonem, tworząc i optymalizując rozproszone przetwarzanie danych w czasie bliskim rzeczywistemu. Wymagane jest także testowanie automatyzacyjne (Robot Framework) oraz ścisła współpraca z DevOps, QA i Product Management w podejściu Continuous Delivery. To rola mocno techniczna i produkcyjna – nie architektoniczna ani zarządcza.
- ✓Nowoczesny stack: Spark, AWS, CI/CD
- ✓Bank jako klient – stabilność i poważne wyzwania data
- !Stawka 'up to' – nie określono minimum, co może sugerować negocjacje w dół
- !Wymóg Robot Framework na poziomie 3+ lat – może być niszowy
- !Brak informacji o długości projektu i wielkości zespołu
- !Okazjonalna fizyczna obecność w Gdańsku/Gdyni na planowanie kwartalne (2 dni)
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Budowanie i optymalizacja rozproszonych potoków Big Data z użyciem Apache Spark
- •Implementacja transformacji danych w Scala i Python
- •Analiza wymagań biznesowych i doprecyzowywanie niejasności
- •Współpraca z DevOps przy ciągłej dostawie i CI/CD (Jenkins)
- •Przygotowywanie testów automatycznych w Robot Framework i Python
- •Pisanie testów jednostkowych (JUnit, Mockito)
- •Praca z repozytoriami BitBucket/GIT i zarządzanie gałęziami
- •Utrzymywanie i rozwijanie komponentów AWS (Lambda, Step Functions)
Oferta dla doświadczonych specjalistów (Senior).
Inżynier danych z 7+ latami w Spark/Scala, 5+ Python i 3+ Robot Framework, który może wykazać się solidnym doświadczeniem w AWS i CI/CD.
Juniorzy ani midowie bez wymaganych lat doświadczenia. Osoby szukające pełnej pracy zdalnej (konieczna hybryda w Warszawie, Łodzi, Gdańsku lub Gdyni) lub niechętne do okazjonalnych wyjazdów na planowanie kwartalne.
- ?Ile osób liczy zespół i jaka jest struktura (Data Engineerowie, DevOps, QA)?
- ?Jak długo trwa projekt i czy jest możliwość przedłużenia?
- ?Czy w projekcie używane są już jakieś technologie strumieniowe (Kafka/IBM MQ)?
- ?Jak wygląda proces CI/CD – czy jest w pełni zautomatyzowany?
- ?Czy dyżury on-call są wymagane?
- ?Jakie są główne wyzwania techniczne w obecnych pipeline'ach?
- ?Czy istnieje możliwość pracy zdalnej z innych miast niż wymienione?
- −Wielkość zespołu
- −Długość projektu i perspektywy rozwojowe
- −Opis procesu rekrutacyjnego (etapy, zadanie domowe?)
- −Benefity pozapłacowe (budżet szkoleniowy, prywatna opieka itp.)
- −Czy istnieje możliwość całkowicie zdalnej pracy z okazjonalnymi wyjazdami?
Zespół pracuje w trybie Agile, z silnym naciskiem na Continuous Delivery i współpracę pomiędzy Data Engineerami, DevOps, QA i Product Managementem. Kultura testowania i automatyzacji jest kluczowa.