Data Engineer
4soft
Jako Data Engineer będziesz budować i utrzymywać rozproszone pipeline'y danych w Scali i Sparku na AWS, pracując dla globalnego lidera analityki blockchain. Twoja codzienna praca to projektowanie i optymalizacja przepływów danych przetwarzających setki milionów rekordów dziennie, zapewnianie niezawodności i obserwowalności systemów oraz ścisła współpraca z data scientistami i zespołami produktowymi. To rola techniczna z naciskiem na funkcjonalne programowanie (Scala) i duże zbiory danych, nie tylko ETL, ale też architekturę i automatyzację.
Brakuje: nie podano wielkości zespołu, w którym przyjdzie pracować, brak informacji o procesie rekrutacyjnym (liczba etapów, forma rozmów).
Jako Data Engineer będziesz budować i utrzymywać rozproszone pipeline'y danych w Scali i Sparku na AWS, pracując dla globalnego lidera analityki blockchain. Twoja codzienna praca to projektowanie i optymalizacja przepływów danych przetwarzających setki milionów rekordów dziennie, zapewnianie niezawodności i obserwowalności systemów oraz ścisła współpraca z data scientistami i zespołami produktowymi. To rola techniczna z naciskiem na funkcjonalne programowanie (Scala) i duże zbiory danych, nie tylko ETL, ale też architekturę i automatyzację.
- ✓Dedykowany budżet szkoleniowy i wellbeing
- ✓100% zdalnie – brak wymogu wizyt w biurze
- ✓Stabilna współpraca długoterminowa bez dress code'u i ciężkiej atmosfery
- ✓Zintegrowane spotkania zespołowe (planszówki, wyjazdy, gokarty itp.)
- ✓Praca na nowatorskich produktach w dziedzinie blockchain i kryptowalut
- !Wymagany polski na poziomie B2 – może ograniczać dostępność kandydatów międzynarodowych
- !Poziom 'regular' w ogłoszeniu, ale lista wymagań sugeruje wyższy poziom (np. znajomość programowania funkcyjnego, doświadczenie z dużymi danymi)
- •Budowanie i utrzymywanie rozproszonych pipeline'ów danych w Scala i Apache Spark na Databricks
- •Projektowanie i optymalizacja przepływów ingestii i transformacji danych z blockchain i tradycyjnych źródeł
- •Wdrażanie i monitorowanie pipeline'ów na AWS z użyciem Kubernetes i Terraform
- •Zapewnianie skalowalności, niezawodności i obserwowalności systemów danych
- •Automatyzacja procesów poprzez ciągłe ulepszanie kodu i narzędzi
- •Współpraca z inżynierami, data scientistami i zespołami produktowymi w celu dostarczania rozwiązań data platform
- •Udział w całym cyklu życia platformy danych – od projektu po utrzymanie
- •Śledzenie nowinek w data i AI (streaming, automatyzacja) i wdrażanie odpowiednich rozwiązań
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Inżynier danych z co najmniej 2-letnim doświadczeniem w budowie rozproszonych pipeline'ów, nawet jeśli część z nich to projekty poboczne lub akademickie. Wymagana jest solidna znajomość Sparka i podstaw chmury, a także gotowość do nauki Scali i programowania funkcyjnego.
Osoby z mniej niż 2 latami praktycznego doświadczenia w data engineeringu, które nie mają styczności ze Sparkiem ani chmurą. Również nie dla kandydatów szukających roli czysto analitycznej lub zarządczej – to stanowisko mocno techniczne, z codziennym kodowaniem.
- ?Ile osób liczy zespół Data Platform po stronie klienta?
- ?Jaki jest podział obowiązków między zespołem 4soft a zespołem klienta?
- ?Czy istnieje dyżur on-call? Jak często?
- ?Jakie konkretnie usługi AWS są używane w produkcji?
- ?Jak długo trwa projekt i czy jest szansa na dłuższą współpracę?
- ?Jak wygląda proces code review i podejście do CI/CD?
- ?Czy istnieje możliwość udziału w konferencjach lub publikacji open source?
- −Nie podano wielkości zespołu, w którym przyjdzie pracować
- −Brak informacji o procesie rekrutacyjnym (liczba etapów, forma rozmów)
- −Nie wiadomo, czy istnieje dyżur on-call i jaka jest jego częstotliwość
- −Nie określono, jak długi jest okres wdrożenia (onboarding) dla nowych osób
Zespół kładzie nacisk na transparentność, efektywną współpracę i realne wyniki biznesowe. Organizowane są integracje (planszówki, wyjazdy, gokarty), a atmosfera jest luźna, bez dress code'u.
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Spark. Pełne statystyki zarobków →