Senior Big Data Engineer (Python, Scala, Spark)
Clurgo
Rola polega na budowaniu skalowalnych rozwiązań do przetwarzania danych w czasie rzeczywistym dla globalnej jednostki ds. zapobiegania przestępczości finansowej. Będziesz projektować i wdrażać potoki danych w Sparku, Scala i Pythonie, integrując się z wieloma źródłami danych (wewnętrznymi i zewnętrznymi) oraz pracując w chmurze AWS. Codziennie będziesz optymalizować zapytania SQL, automatyzować procesy CI/CD w Jenkinsie oraz pisać testy automatyczne w Robot Framework. To typowa rola Senior Data Engineera, z naciskiem na real-time processing i ekosystem Hadoop.
Brakuje: nie podano wielkości zespołu ani struktury organizacyjnej, brak informacji o planowanym okresie trwania projektu.
Rola polega na budowaniu skalowalnych rozwiązań do przetwarzania danych w czasie rzeczywistym dla globalnej jednostki ds. zapobiegania przestępczości finansowej. Będziesz projektować i wdrażać potoki danych w Sparku, Scala i Pythonie, integrując się z wieloma źródłami danych (wewnętrznymi i zewnętrznymi) oraz pracując w chmurze AWS. Codziennie będziesz optymalizować zapytania SQL, automatyzować procesy CI/CD w Jenkinsie oraz pisać testy automatyczne w Robot Framework. To typowa rola Senior Data Engineera, z naciskiem na real-time processing i ekosystem Hadoop.
- ✓Praca dla globalnej jednostki ds. zapobiegania przestępczości finansowej – bardzo ciekawa i odpowiedzialna domena
- ✓Profesjonalny proces rekrutacyjny z informacją zwrotną niezależnie od decyzji
- ✓Firma stworzona przez developerów, deklarująca dobre praktyki i work-life balance
- !Wymagane jest minimum 3-letnie doświadczenie w automatyzacji testów (Robot Framework) – może być zaskoczeniem dla data engineerów z czysto backendowym profilem
- !Brak informacji o wielkości zespołu oraz liczbie projektów, nad którymi będzie się pracować
- !Nie podano, czy rola wiąże się z dyżurami on-call
- •Projektowanie i implementacja potoków przetwarzania danych w czasie rzeczywistym z użyciem Apache Spark i Scala
- •Tworzenie skryptów w Pythonie do transformacji i czyszczenia danych
- •Optymalizacja zapytań SQL pod kątem wydajności na dużych zbiorach danych
- •Konfiguracja i utrzymanie CI/CD w Jenkinsie
- •Pisanie testów automatycznych w Robot Framework oraz ich integracja z pipeline'em
- •Praca z komponentami AWS: Lambda, Step Functions, State Machines
- •Monitorowanie i debugowanie przepływów danych w ekosystemie Hadoop (HDFS, Hive, itp.)
- •Współpraca z zespołem analitycznym przy dostarczaniu czystych datasetów dla modeli analitycznych
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z około 3-4 latami doświadczenia, który ma solidne podstawy w Sparku i Pythonie, ale brakuje mu jeszcze pełnej biegłości w Scali lub zaawansowanych aspektów Hadoop. Może mieć mniejsze doświadczenie z CI/CD lub testowaniem, ale jest w stanie nadrobić to w krótkim czasie.
Nie dla juniorów ani mid-level developerów z mniej niż 4 latami doświadczenia w data engineeringu. Osoby, które nie lubią automatyzacji testów lub nie znają Jenkinsa i Robot Frameworka, będą miały trudności.
- ?Ile osób liczy zespół data engineering, z którym będę pracować?
- ?Czy będę pracować nad jednym projektem, czy rotacyjnie?
- ?Jak często planowane są wdrożenia i czy wiąże się to z dyżurami?
- ?Czy Robot Framework jest używany na co dzień, czy tylko przy danej integracji?
- ?Jaka jest skala przetwarzanych danych (objętość, przepustowość)?
- ?Czy istnieje już infrastruktura AWS, czy trzeba ją budować od zera?
- ?Jakie są główne źródła danych i czy są to dane strumieniowe (Kafka) czy batchowe?
- −Nie podano wielkości zespołu ani struktury organizacyjnej
- −Brak informacji o planowanym okresie trwania projektu
- −Nie wiadomo, czy istnieje konieczność dyżurów on-call
- −Brak opisu konkretnych narzędzi Hadoop (Hive, HBase, itp.) poza ogólnym 'ekosystem'
Firma kładzie nacisk na dobre praktyki programistyczne, work-life balance i integrację zespołu. Praca w modelu hybrydowym z jednym dniem w biurze tygodniowo, co sprzyja balansowi między współpracą a elastycznością.
Profesjonalny proces rekrutacyjny – zawsze feedback niezależnie od decyzji. Nie podano liczby etapów ani szczegółów.
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię AWS. Pełne statystyki zarobków →