Data Flow Engineer
Cyclad
Rola koncentruje się na projektowaniu, implementacji i utrzymaniu zaawansowanych przepływów danych z użyciem Apache NiFi w ramach Cloudera Data Platform (CDP). Praca obejmuje budowę pipeline'ów CDC w czasie rzeczywistym, integracje z Kafka, zarządzanie schematami Avro, metadata i lineage (Atlas) oraz polityki bezpieczeństwa (Ranger). To stanowisko senior data engineera, nie programisty aplikacji – głównym narzędziem jest NiFi, a Python służy do automatyzacji i integracji. Projekt realizowany jest dla europejskiej instytucji publicznej z branży bezpieczeństwa.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: brak informacji o procesie rekrutacyjnym (etapy, forma), nie podano wielkości zespołu ani liczby osób na podobnych stanowiskach.
Rola koncentruje się na projektowaniu, implementacji i utrzymaniu zaawansowanych przepływów danych z użyciem Apache NiFi w ramach Cloudera Data Platform (CDP). Praca obejmuje budowę pipeline'ów CDC w czasie rzeczywistym, integracje z Kafka, zarządzanie schematami Avro, metadata i lineage (Atlas) oraz polityki bezpieczeństwa (Ranger). To stanowisko senior data engineera, nie programisty aplikacji – głównym narzędziem jest NiFi, a Python służy do automatyzacji i integracji. Projekt realizowany jest dla europejskiej instytucji publicznej z branży bezpieczeństwa.
- ✓Długoterminowy projekt (min. 4 lata) – stabilność
- ✓Praca z zaawansowanymi technologiami Big Data (CDP, NiFi, Iceberg, Kafka)
- ✓Możliwość rozwoju w międzynarodowym środowisku
- −Brak widełek wynagrodzenia w ogłoszeniu
- −Wymóg posiadania konkretnego certyfikatu Cloudera jako must-have – może ograniczać pulę kandydatów
- −Bardzo wysokie wymagania stażowe (min. 8 lat po edukacji) – typowe dla seniora, ale może być przesadzone
- !Model hybrydowy 60% onsite – wysoka obecność w biurze
- !Klient z sektora publicznego – możliwa biurokracja i ograniczona autonomia techniczna
- !Brak informacji o wielkości zespołu i strukturze projektu
- !Brak opisu procesu rekrutacyjnego
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Projektowanie i implementacja przepływów danych w Apache NiFi (w tym pipeline'y CDC z baz relacyjnych)
- •Konfiguracja i optymalizacja polityk bezpieczeństwa w Apache Ranger
- •Monitorowanie i troubleshooting pipeline'ów danych w środowisku CDP
- •Integracja NiFi z Apache Kafka oraz zarządzanie schematami Avro
- •Zarządzanie metadanymi i lineage danych w Apache Atlas
- •Tworzenie dokumentacji technicznej (SOP, runbooki)
- •Współpraca z zespołami Data Engineering i architektami w celu optymalizacji architektury danych
- •Udział w upgrade'ach i migracjach platform CDP/NiFi/Kafka
Oferta dla doświadczonych specjalistów (Senior).
Osoba z dokładnie 6-letnim doświadczeniem na podobnym stanowisku, posiadająca wymagany certyfikat NiFi, podstawową znajomość Pythona i praktykę z CDC oraz Iceberg, ale bez bardzo zaawansowanych projektów.
Juniorzy i midowie bez wymaganego stażu i certyfikacji. Osoby szukające pracy w pełni zdalnej lub preferujące elastyczne godziny – rola wymaga 60% obecności w biurze. Kandydaci unikający rygorystycznych wymagań certyfikacyjnych i pracy w sektorze publicznym/burokratycznym.
- ?Czy certyfikat Cloudera jest absolutnie wymagany, czy istnieje możliwość jego uzyskania w trakcie?
- ?Ile osób liczy zespół Data Engineering, w którym będę pracować?
- ?Jak wygląda harmonogram on-call / dyżurów awaryjnych?
- ?Czy istnieje możliwość dostosowania ilości dni onsite w zależności od potrzeb?
- ?Jaki jest stosowany model CI/CD w projekcie?
- ?Czy w projekcie używane są również inne narzędzia poza CDP (np. Airflow, Spark)?
- ?Jaki jest poziom autonomii technicznej – czy zespół ma wpływ na wybór narzędzi i architekturę?
- −Brak informacji o procesie rekrutacyjnym (etapy, forma)
- −Nie podano wielkości zespołu ani liczby osób na podobnych stanowiskach
- −Brak wzmianki o możliwości pracy zdalnej w ramach modelu hybrydowego (czy 40% to max?)
- −Nie określono, czy wymagane są dyżury on-call
Międzynarodowe środowisko IT, współpraca z zespołami Data Engineering, architektami i biznesem. Projekt dla instytucji publicznej – prawdopodobnie strukturalny i proceduralny.