Programista BigData (Regular)
emagine
To rola Data Engineera skupiona na przetwarzaniu dużych zbiorów danych przy użyciu Spark w ekosystemie Hadoop. Praca w bankowości, głównie zdalna, z rzadkimi wizytami w biurze w Warszawie. Osoba na tym stanowisku będzie rozwijać i utrzymywać aplikacje Spark, zarządzać danymi w hurtowniach, integrować dane z różnych źródeł oraz pracować z formatami Parquet, Avro, ORC. Stack technologiczny oparty jest o Hadoop Cloudera/Hortonworks.
Brakuje: nie podano, czy praca odbywa się na własnym sprzęcie czy dostarczonym, brak wzmianki o procesie rekrutacyjnym (liczba etapów, zadanie domowe itp.).
To rola Data Engineera skupiona na przetwarzaniu dużych zbiorów danych przy użyciu Spark w ekosystemie Hadoop. Praca w bankowości, głównie zdalna, z rzadkimi wizytami w biurze w Warszawie. Osoba na tym stanowisku będzie rozwijać i utrzymywać aplikacje Spark, zarządzać danymi w hurtowniach, integrować dane z różnych źródeł oraz pracować z formatami Parquet, Avro, ORC. Stack technologiczny oparty jest o Hadoop Cloudera/Hortonworks.
- ✓Minimalna obecność w biurze (2 razy w miesiącu)
- ✓Jasno określony stack technologiczny
- ✓Wymagania mile widziane dot. streamingu i CI/CD wskazują na rozwój techniczny
- !Brak informacji o wielkości i strukturze zespołu
- !Brak wzmianki o narzędziach chmurowych – może to być środowisko on-premise
- !Opis dość ogólny, typowy dla ogłoszeń agencyjnych
- •Pisanie i optymalizacja kodu Spark w Pythonie lub Scali
- •Implementacja pipeline'ów przetwarzania danych ETL
- •Praca z Hive, Kudu, HBase, Iceberg do zarządzania danymi
- •Parsowanie i przekształcanie danych w formatach JSON, Parquet, ORC, Avro
- •Tworzenie zaawansowanych zapytań SQL
- •Integracja danych z wielu źródeł (bazy, API, pliki)
- •Utrzymanie konfiguracji i budowanie projektu z użyciem Maven
- •Udział w codziennych spotkaniach zespołu (stand-up, planowanie)
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Deweloper/inżynier danych z co najmniej 2-letnim doświadczeniem w Spark i podstawową znajomością Hadoop, który potrafi samodzielnie implementować proste pipeline'y ETL i tworzyć zapytania SQL. Akceptuje hybrydowy model pracy (2 razy w miesiącu w biurze).
Juniorzy bez komercyjnego doświadczenia w Spark, osoby szukające pełnego zdalnego (wymagane okazjonalne wizyty w biurze) ani inżynierowie nastawieni na architekturę lub zarządzanie – rola jest stricte wykonawcza.
- ?Ile osób liczy zespół Big Data i jakie są role w zespole?
- ?Czy projekt jest prowadzony dla konkretnego klienta bankowego? Jeśli tak, który to bank?
- ?Jak wygląda proces onboardingu i czy jest mentoring?
- ?Czy są przewidziane dyżury on-call lub praca w weekendy?
- ?Jaka jest skala danych (wolumen, przepływ)?
- ?Czy planowane jest przejście na chmurę (np. AWS/Azure/GCP)?
- ?Jaki jest preferowany język – Python czy Scala (czy dowolny)?
- ?Jakie narzędzia CI/CD są używane w projekcie?
- −Nie podano, czy praca odbywa się na własnym sprzęcie czy dostarczonym
- −Brak wzmianki o procesie rekrutacyjnym (liczba etapów, zadanie domowe itp.)
- −Nie wiadomo, czy oferta dotyczy pracy w biurze emagine czy u klienta