Data Flow Engineer (Cloudera / Apache NiFi)
Onwelo
Jako Data Flow Engineer będziesz projektować, wdrażać i utrzymywać zaawansowane potoki danych w Apache NiFi (Cloudera DataFlow) dla sektora bezpieczeństwa publicznego. Praca koncentruje się na przetwarzaniu danych w czasie rzeczywistym/near-real-time z wykorzystaniem CDC, integracji REST API oraz ekosystemu Cloudera (CDP, Kafka, Iceberg, Atlas, Ranger). To rola inżynierska z naciskiem na budowę i optymalizację przepływów danych, nie analityka czy zarządzanie. Wymagana jest codzienna obecność w biurze w Warszawie.
Brakuje: nie podano wielkości zespołu., brak informacji o czasie trwania projektu..
Jako Data Flow Engineer będziesz projektować, wdrażać i utrzymywać zaawansowane potoki danych w Apache NiFi (Cloudera DataFlow) dla sektora bezpieczeństwa publicznego. Praca koncentruje się na przetwarzaniu danych w czasie rzeczywistym/near-real-time z wykorzystaniem CDC, integracji REST API oraz ekosystemu Cloudera (CDP, Kafka, Iceberg, Atlas, Ranger). To rola inżynierska z naciskiem na budowę i optymalizację przepływów danych, nie analityka czy zarządzanie. Wymagana jest codzienna obecność w biurze w Warszawie.
- ✓Transparentny opis technologii i zadań – widać konkretny stack (NiFi, CDP, Kafka, Iceberg).
- ✓Udział w projektach unijnych o krytycznym znaczeniu – szansa na pracę nad ważnymi systemami.
- ✓Firma deklaruje 80% awansów wewnętrznych i techniczne wykształcenie kadry zarządzającej.
- −Obowiązkowy certyfikat Cloudera – brak możliwości jego uzyskania po zatrudnieniu może być blokerem.
- −Praca w sektorze bezpieczeństwa publicznego może wiązać się z restrykcyjnymi procedurami i ograniczoną elastycznością.
- !Brak informacji o wielkości zespołu i liczbie projektów równoległych.
- !Nie podano przewidywanego czasu trwania projektu ani możliwości rotacji.
- !Opis wymagań zakłada kompetencje seniorskie, ale poziom stanowiska określono jako 'regular'.
- •Projektowanie i implementacja złożonych przepływów danych w Apache NiFi (ingest, transform, enrich, route, egress).
- •Budowa potoków CDC z baz relacyjnych przy użyciu Debezium i konektorów NiFi.
- •Integracja systemów poprzez REST API, JDBC i Kafka z obsługą autoryzacji OAuth/JWT oraz rate limitingu.
- •Zarządzanie tabelami Apache Iceberg (schema evolution, partycjonowanie) i integracja ze Spark/Flink.
- •Konfiguracja i utrzymanie tematów Kafka, producentów/konsumentów oraz schematów Avro z Schema Registry.
- •Implementacja polityk bezpieczeństwa i audytu w Apache Atlas (tagowanie, data lineage) i Apache Ranger.
- •Monitoring, troubleshooting i optymalizacja wydajności potoków danych.
- •Tworzenie dokumentacji technicznej (SOPs, runbooki) i udział w migracjach środowisk CDP/NiFi/Kafka.
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Osoba z 2-letnim doświadczeniem z NiFi, podstawową znajomością Pythona i Iceberga, która spełnia wymagania certyfikacyjne i jest gotowa do pracy onsite. Może mieć jeden duży projekt integracyjny z NiFi.
Juniorzy bez praktycznego doświadczenia z NiFi (wymagane min. 2 lata) oraz osoby szukające pracy zdalnej lub hybrydowej – rola wymaga codziennej obecności w biurze w Warszawie.
- ?Ile osób liczy zespół Data Flow Engineerów?
- ?Czy certyfikat Cloudera jest wymagany przed rozpoczęciem, czy można go zdobyć w trakcie?
- ?Jaki jest orientacyjny czas trwania projektu?
- ?Czy przewidziane są dyżury on-call lub praca w weekendy?
- ?Czy istnieje możliwość pracy hybrydowej po okresie wdrożenia?
- ?Jak wygląda proces rekrutacyjny (ile etapów, czy zadanie domowe)?
- −Nie podano wielkości zespołu.
- −Brak informacji o czasie trwania projektu.
- −Nie opisano procesu rekrutacyjnego.
- −Brak informacji o on-call lub pracy w nadgodzinach.
Współpraca z architektami danych, inżynierami i biznesowymi interesariuszami w międzynarodowym środowisku. Wymagana komunikatywność i nastawienie na współpracę.