5656 2 x Mid+/Senior Flink Data Engineer
emagine
To rola inżyniera danych skupionego na streamingowych pipeline'ach w Apache Flink na platformie Google Cloud. Główne zadania to rozwijanie nowych i migracja istniejących pipeline'ów Flink, w tym upgrade do wersji 2.0, przenoszenie dużych zbiorów danych z BigQuery do Data Cloud Storage oraz konwersja formatów Avro na Parquet. Projekt obejmuje również automatyzację migracji i optymalizację wydajności w środowisku chmurowym. To typowa rola Data Engineer'a, a nie DevOps czy AI.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: nie podano konkretnego klienta ani nazwy produktu, brak opisu procesu rekrutacyjnego.
To rola inżyniera danych skupionego na streamingowych pipeline'ach w Apache Flink na platformie Google Cloud. Główne zadania to rozwijanie nowych i migracja istniejących pipeline'ów Flink, w tym upgrade do wersji 2.0, przenoszenie dużych zbiorów danych z BigQuery do Data Cloud Storage oraz konwersja formatów Avro na Parquet. Projekt obejmuje również automatyzację migracji i optymalizację wydajności w środowisku chmurowym. To typowa rola Data Engineer'a, a nie DevOps czy AI.
- ✓Nowoczesny stack technologiczny (Flink, GCP, streaming)
- ✓Rola ma realny wpływ na modernizację platformy danych
- ✓Jasno zdefiniowane zadania i odpowiedzialności
- !Ogłoszenie pochodzi z agencji (emagine), rzeczywisty klient może się zmienić
- !Nie podano oczekiwanej liczby godzin miesięcznych ani długości projektu
- !Wymienione 'narzędzia AI' mogą być buzzwordem bez konkretnego zastosowania
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Tworzenie i rozwijanie pipeline'ów streamingu w Apache Flink z użyciem DataStream API
- •Migracja istniejących jobów Flink do nowszych standardów platformy
- •Przeprowadzanie upgrade'u platformy Flink do wersji 2.0
- •Migracja dużych zbiorów danych z BigQuery do Data Cloud Storage (DCS)
- •Konwersja danych z formatu Avro na Parquet z optymalizacją wydajności i ewolucji schematu
- •Automatyzacja i skalowanie procesów migracyjnych przy użyciu narzędzi AI
- •Monitorowanie jakości danych i integralności podczas migracji, minimalizowanie przestojów
- •Współpraca z zespołami cross-funkcyjnymi oraz komunikacja techniczna z interesariuszami nietechnicznymi
Oferta dla doświadczonych specjalistów (Senior).
Inżynier danych z przynajmniej 3-letnim doświadczeniem w Apache Flink i podstawową znajomością migracji danych na GCP. Osoba ta jest gotowa do nauki i rozwijania umiejętności w zakresie platformy Flink 2.0 oraz automatyzacji z użyciem AI.
Juniorzy bez doświadczenia w streamingu i Flink; osoby szukające pracy w standardowym ETL bez real-time; inżynierowie, którzy nie lubią migracji legacy systemów lub pracy z dużymi wolumenami danych.
- ?Jaki jest konkretny klient i branża („globalna platforma cyfrowa”)?
- ?Ile osób liczy zespół i jak wygląda struktura (np. podział na streamingu, migracje)?
- ?Jaki jest przewidywany czas trwania projektu i czy istnieje możliwość przedłużenia?
- ?Jak wygląda proces upgrade'u Flink 2.0 – czy już rozpoczęty, czy od podstaw?
- ?Jak duże są zestawy danych migrowane z BigQuery do DCS (wielkość TB/PB)?
- ?Jakie konkretne narzędzia AI są używane do migracji i walidacji?
- ?Czy istnieje dyżur on-call i jaka jest jego rotacja?
- ?Jakie są możliwości rozwoju w ramach agencji (konferencje, certyfikacje)?
- −Nie podano konkretnego klienta ani nazwy produktu
- −Brak opisu procesu rekrutacyjnego
Kultura oparta na współpracy, eksperymentowaniu i doskonałości inżynieryjnej w środowisku chmurowym, rozproszonym i wysokiej skali. Zespół ceni sobie proaktywne podejście i efektywną komunikację.