🛠 Wymagane technologie

Dane źródłowe

Python lub Scala Spark Hadoop Cloudera lub Hortonworks SQL Big Data

AI Insights

Czym naprawdę jest ta rola?Data Engineer

To rola Data Engineera skupiona na przetwarzaniu dużych zbiorów danych przy użyciu Spark w ekosystemie Hadoop. Praca w bankowości, głównie zdalna, z rzadkimi wizytami w biurze w Warszawie. Osoba na tym stanowisku będzie rozwijać i utrzymywać aplikacje Spark, zarządzać danymi w hurtowniach, integrować dane z różnych źródeł oraz pracować z formatami Parquet, Avro, ORC. Stack technologiczny oparty jest o Hadoop Cloudera/Hortonworks.

Plusy

✓Atrakcyjna stawka B2B (115-120 zł/h)
✓Minimalna obecność w biurze (2 razy w miesiącu)
✓Jasno określony stack technologiczny
✓Wymagania mile widziane dot. streamingu i CI/CD wskazują na rozwój techniczny

Na co uważać

!Brak informacji o wielkości i strukturze zespołu
!Brak wzmianki o narzędziach chmurowych – może to być środowisko on-premise
!Opis dość ogólny, typowy dla ogłoszeń agencyjnych

Codzienna praca

•Pisanie i optymalizacja kodu Spark w Pythonie lub Scali
•Implementacja pipeline'ów przetwarzania danych ETL
•Praca z Hive, Kudu, HBase, Iceberg do zarządzania danymi
•Parsowanie i przekształcanie danych w formatach JSON, Parquet, ORC, Avro
•Tworzenie zaawansowanych zapytań SQL
•Integracja danych z wielu źródeł (bazy, API, pliki)
•Utrzymanie konfiguracji i budowanie projektu z użyciem Maven
•Udział w codziennych spotkaniach zespołu (stand-up, planowanie)

🔗Podobne oferty

Programista BigData (Regular)

emagine Polska