Data Engineer Senior
RITS Professional Services
To rola Senior Data Engineer w firmie outsourcingowej, skupiająca się na integracji danych w środowisku hybrydowym: GCP i on-premise. Będziesz projektować, rozwijać i utrzymywać wydajne pipeline'y ETL/ELT, pracować z dużymi wolumenami danych (~100 TB), obsługiwać strumieniowanie (Kafka, Pub/Sub) oraz tworzyć REST API. Wymagana jest biegłość w GCP (BigQuery, BigTable, DataFlow, DataProc) oraz narzędziach on-premise (Informatica PowerCenter, Apache NiFi). Nietypowym wymaganiem jest znajomość Rusta do budowy narzędzi do ładowania danych.
Brakuje: wielkość zespołu i struktura, proces rekrutacyjny.
To rola Senior Data Engineer w firmie outsourcingowej, skupiająca się na integracji danych w środowisku hybrydowym: GCP i on-premise. Będziesz projektować, rozwijać i utrzymywać wydajne pipeline'y ETL/ELT, pracować z dużymi wolumenami danych (~100 TB), obsługiwać strumieniowanie (Kafka, Pub/Sub) oraz tworzyć REST API. Wymagana jest biegłość w GCP (BigQuery, BigTable, DataFlow, DataProc) oraz narzędziach on-premise (Informatica PowerCenter, Apache NiFi). Nietypowym wymaganiem jest znajomość Rusta do budowy narzędzi do ładowania danych.
- ✓Jasno określona stawka B2B i długość kontraktu (12+ miesięcy)
- ✓Precyzyjnie opisany tech stack i oczekiwania
- ✓Program poleceń z nagrodą do 5000 zł
- −Obowiązkowa znajomość Rusta – rzadka i może być przeszkodą dla wielu kandydatów
- −Rola wymaga zarówno kompetencji cloud (GCP) jak i on-premise (Informatica, NiFi) – możliwe rozmycie obowiązków
- !Wymienione narzędzia legacy (Informatica PowerCenter) mogą wskazywać na brak migracji do nowszych rozwiązań
- !Brak informacji o wielkości zespołu i liczbie projektów
- !Brak opisu procesu rekrutacyjnego
- !Wysokie wymagania dotyczące odpowiedzialności bez dodatkowych informacji o wsparciu zespołu
- •Projektowanie i implementacja pipeline'ów ETL/ELT w GCP (DataFlow, DataProc) oraz on-premise (Informatica PowerCenter, NiFi)
- •Optymalizacja wydajności zapytań BigQuery i baz danych ScyllaDB
- •Tworzenie i utrzymanie strumieni danych z użyciem Kafka i GCP Pub/Sub
- •Pisanie skryptów w Python i PySpark do przetwarzania danych
- •Budowa i dokumentowanie REST API do udostępniania danych
- •Tuning baz danych Oracle, PostgreSQL, ScyllaDB
- •Praca z narzędziem harmonogramującym AutomateNow (Infinity Data)
- •Współpraca przy przetwarzaniu danych w środowisku o wysokich wymaganiach wydajnościowych
Oferta dla doświadczonych specjalistów (Senior).
Osoba z 5-letnim doświadczeniem w data engineering na GCP oraz 4-letnim w ETL on-premise, posiadająca podstawową znajomość wymaganych narzędzi (BigQuery, Airflow, Informatica, Kafka, Python) i chęć dalszego rozwoju.
Nie dla juniorów ani midów z mniej niż 5 latami w data engineering na GCP. Nie dla osób unikających pracy z legacy systemami on-premise (Informatica PowerCenter) lub nieznających Rusta, jeśli jest to twardy wymóg.
- ?Ile osób liczy zespół data engineering, z którym będę współpracować?
- ?Jaka jest proporcja pracy z GCP vs on-premise? Czy planowana jest migracja do chmury?
- ?Jakie są oczekiwania wobec Rusta – czy to twardy wymóg, czy raczej plus?
- ?Czy istnieje dyżur on-call lub praca w weekendy przy wysokiej wydajności?
- ?Kim jest klient końcowy? Czy to projekt wewnętrzny czy dla zewnętrznego klienta?
- ?Jak wygląda proces rekrutacyjny – ile etapów, czy jest zadanie domowe?
- −Wielkość zespołu i struktura
- −Proces rekrutacyjny
- −Benefity i dodatki (urlop, szkolenia)
- −Nazwa klienta lub branża
Kultura organizacyjna oparta na zaufaniu, współpracy i ciągłym doskonaleniu, z priorytetem jakości i innowacyjności.
Na poziomie rynkowym
≈ 150,0–165,0 zł/h
Dane z aktywnych ofert zawierających technologię GCP. Pełne statystyki zarobków →