Data Engineer (Regular Expressions)
ITLT
Jest to wyspecjalizowana rola Data Engineera skupiona na tworzeniu i optymalizacji wyrażeń regularnych (Regex) dla przetwarzania logów telekomunikacyjnych w czasie rzeczywistym. Pracujesz w 7-osobowym zespole nad nowym projektem dla globalnego operatora telekomunikacyjnego. Twoim głównym zadaniem jest projektowanie reguł ekstrakcji danych z surowych logów, implementacja ich w Spark Structured Streaming (w połączeniu z Kafka) i zapis do Elasticsearch. To nie jest typowa rola Data Engineera z SQL/ETL – tutaj kluczowa jest głęboka wiedza o silnikach Regex (PCRE) i umiejętność optymalizacji pod kątem przepustowości ~1M rekordów/s i latencji <5s. Jeśli nie masz doświadczenia w data engineeringu, ale jesteś mistrzem Regex z NLP, security czy administracji – możesz aplikować.
Brakuje: brak opisu procesu rekrutacyjnego (etapy, czas trwania), brak informacji o ewentualnym on-call lub pracy w weekendy.
Jest to wyspecjalizowana rola Data Engineera skupiona na tworzeniu i optymalizacji wyrażeń regularnych (Regex) dla przetwarzania logów telekomunikacyjnych w czasie rzeczywistym. Pracujesz w 7-osobowym zespole nad nowym projektem dla globalnego operatora telekomunikacyjnego. Twoim głównym zadaniem jest projektowanie reguł ekstrakcji danych z surowych logów, implementacja ich w Spark Structured Streaming (w połączeniu z Kafka) i zapis do Elasticsearch. To nie jest typowa rola Data Engineera z SQL/ETL – tutaj kluczowa jest głęboka wiedza o silnikach Regex (PCRE) i umiejętność optymalizacji pod kątem przepustowości ~1M rekordów/s i latencji <5s. Jeśli nie masz doświadczenia w data engineeringu, ale jesteś mistrzem Regex z NLP, security czy administracji – możesz aplikować.
- ✓Długofalowy kontrakt B2B
- ✓Realny wpływ na architekturę strumieniowego przetwarzania danych
- ✓Praca w globalnej infrastrukturze z setkami milionów rekordów na godzinę
- ✓Stała opieka rekrutera i regularne aktualizacje procesu
- −Firma jest agencją (ITLT) – praca dla klienta zewnętrznego, brak bezpośredniego zatrudnienia u end-klienta
- !Brak informacji o procesie rekrutacyjnym
- !Szeroki zakres mile widzianych technologii (Spark, Scala, Hadoop, Airflow, Kafka, Elasticsearch) – może sugerować oczekiwanie wszechstronności mimo wąskiej specjalizacji
- !Nie określono, czy są dyżury on-call lub nienormowany czas pracy
- •Projektowanie i implementacja wyrażeń regularnych dla nowych typów logów telekomunikacyjnych
- •Optymalizacja Regex pod kątem wydajności (grupy nieprzechwytujące, unikanie backtrackingu)
- •Implementacja wzorców w Spark Structured Streaming do przetwarzania strumieni danych z Kafka
- •Testowanie i debugowanie reguł w środowisku big data z użyciem skryptów Python/Java
- •Code review wyrażeń regularnych i pipeline'ów przetwarzania
- •Monitorowanie latencji i skalowanie reguł w miarę wzrostu obciążenia
- •Integracja z Elasticsearch – indeksowanie i kategoryzacja wyekstrahowanych danych
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Znawca Regex z udokumentowanym doświadczeniem w optymalizacji wzorców, który ma podstawy skryptowe (Python/Java) i jest gotów uczyć się narzędzi Big Data (Spark, Kafka). Może nie mieć klasycznego doświadczenia data engineering, ale jest w stanie szybko przyswoić nowe technologie.
Osoby bez zaawansowanego doświadczenia w Regex – to absolutnie kluczowa umiejętność. Juniorzy lub mid-level bez praktyki w optymalizacji wyrażeń regularnych na dużą skalę. Również osoby szukające typowej roli Data Engineera z SQL, ETL i modelowaniem danych – tutaj dominuje przetwarzanie tekstu.
- ?Jakie narzędzia/środowisko będą używane do Spark – Scala DataFrame API czy PySpark?
- ?Czy zespół pracuje nad jednym projektem dla klienta, czy rotuje między zadaniami?
- ?Jak często odbywają się code review i jakie są kryteria akceptacji?
- ?Czy istnieje możliwość pracy na własnym sprzęcie czy jest zapewniony?
- ?Jak mierzona jest wydajność wyrażeń regularnych w produkcji?
- ?Czy przewidziane są szkolenia z Big Data (Spark, Kafka) dla kandydatów bez doświadczenia?
- −Brak opisu procesu rekrutacyjnego (etapy, czas trwania)
- −Brak informacji o ewentualnym on-call lub pracy w weekendy
- −Nie określono, jakie dokumenty są wymagane na start (np. własne narzędzia)
Nowoczesne środowisko z naciskiem na wydajność i współpracę w małym, eksperckim zespole (7 osób). Wymagana jest duża autonomia w projektowaniu rozwiązań.