Data Cloud Engineer
BlueSoft
Rola koncentruje się na budowie nowoczesnej, skalowalnej platformy danych w chmurze AWS dla międzynarodowego klienta. Będziesz projektować i wdrażać pipeline'y danych (batch i streaming) do przetwarzania danych reklamowych, telemetrycznych i metadanych treści. To stanowisko łączy inżynierię danych z inżynierią chmury – wymaga biegłości w AWS, Kafka, Spark, Airflow i Terraform. Praca jest całkowicie zdalna, na B2B, w zespole pracującym nad zielonym projektem (greenfield).
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: nie podano wielkości zespołu ani struktury zespołów, brak informacji o dyżurach on-call i monitoring out-of-hours.
Rola koncentruje się na budowie nowoczesnej, skalowalnej platformy danych w chmurze AWS dla międzynarodowego klienta. Będziesz projektować i wdrażać pipeline'y danych (batch i streaming) do przetwarzania danych reklamowych, telemetrycznych i metadanych treści. To stanowisko łączy inżynierię danych z inżynierią chmury – wymaga biegłości w AWS, Kafka, Spark, Airflow i Terraform. Praca jest całkowicie zdalna, na B2B, w zespole pracującym nad zielonym projektem (greenfield).
- ✓Praca zdalna na B2B z pełną autonomią techniczną
- ✓Budowa platformy danych od podstaw (greenfield) z nowoczesnym stackiem (data mesh/lakehouse)
- ✓Współpraca z międzynarodowym klientem i różnorodnymi zespołami
- ✓Nacisk na niezawodność i obserwowalność – realna odpowiedzialność techniczna
- !Brak informacji o wielkości zespołu i czasie trwania projektu
- !Brak informacji o dyżurach on-call
- !Praca dla klienta zewnętrznego (software house) – możliwe zmieniające się wymagania
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Projektowanie i implementacja pipeline'ów danych (batch i streaming) z użyciem Python, Spark, Kafka i Airflow
- •Budowa i optymalizacja rozwiązań AWS: S3, Glue, Lambda, Athena, EKS, Kinesis, Redshift
- •Implementacja strategii partycjonowania, ewolucji schematu i zarządzania metadanymi
- •Monitorowanie wydajności platformy, debugowanie i tuning zadań Spark oraz Kafka
- •Zarządzanie infrastrukturą jako kod (Terraform) oraz CI/CD dla pipeline'ów danych
- •Współpraca z Data Engineerami, zespołami ML i Platform Engineerami przy projektowaniu architektury data lakehouse/data mesh
- •Utrzymanie niezawodności i obserwowalności platformy w środowisku multi-region
Oferta dla doświadczonych specjalistów (Senior).
Mid-level Data Engineer z minimum 3 latami doświadczenia w AWS i Python, podstawową znajomością Kafka i Spark, gotowy do podniesienia kompetencji w streamingu i inżynierii chmury.
Osoby bez komercyjnego doświadczenia w data engineeringu na AWS (juniorzy) ani kandydaci nastawieni wyłącznie na backend webowy bez znajomości Big Data i streamingu.
- ?Ile osób liczy zespół pracujący nad tym projektem?
- ?Jaki jest przewidywany czas trwania projektu/tożsamość klienta?
- ?Czy przewidziane są dyżury on-call? Jeśli tak, jaka jest ich częstotliwość?
- ?Jak wygląda proces wdrożenia/deployu – czy jest dedykowana osoba DevOps, czy rolę tę pełni Data Engineer?
- ?Czy istnieje możliwość wpływu na wybór narzędzi i architektury?
- ?Jak często planowane są nowe pipeline'y danych i jakie są SLA?
- ?Czy istnieje budżet szkoleniowy na rozwój techniczny?
- −Nie podano wielkości zespołu ani struktury zespołów
- −Brak informacji o dyżurach on-call i monitoring out-of-hours
- −Nie określono długości projektu ani stabilności
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo, czy praca dotyczy jednego klienta czy wielu projektów
Kultura zespołu oparta na współpracy, z poczuciem humoru (żarty o dashboardach) i naciskiem na nowoczesne technologie – prawdopodobnie otwarta i techniczna atmosfera.