AWS Data Engineer (DataBricks+DataLake)
H2B Group
Rola AWS Data Engineera polega na budowaniu i utrzymaniu potoków danych (batch i near real-time) w chmurze AWS, z wykorzystaniem Databricks i Data Lake. Kandydat będzie odpowiedzialny za transformacje danych, zarządzanie infrastrukturą jako kodem (IaC), zapewnienie jakości danych oraz współpracę z innymi zespołami w celu migracji i optymalizacji danych.
Brakuje: nie podano szczegółów dotyczących konkretnych narzędzi ci/cd używanych w projekcie., brak informacji o konkretnych wymaganiach dotyczących monitoringu i alertowania..
Rola AWS Data Engineera polega na budowaniu i utrzymaniu potoków danych (batch i near real-time) w chmurze AWS, z wykorzystaniem Databricks i Data Lake. Kandydat będzie odpowiedzialny za transformacje danych, zarządzanie infrastrukturą jako kodem (IaC), zapewnienie jakości danych oraz współpracę z innymi zespołami w celu migracji i optymalizacji danych.
- ✓Praca w modelu w pełni zdalnym.
- ✓Atrakcyjne wynagrodzenie na poziomie 120-155 PLN netto+VAT/godz.
- ✓Możliwość pracy przy innowacyjnych projektach dla międzynarodowej korporacji.
- ✓Elastyczność w wyborze projektów w ramach firmy lub grupy Euvic.
- −Wymagane jest dysponowanie czasem do godziny 17:00, co może ograniczać elastyczność dla osób z innymi zobowiązaniami.
- −Konieczność dostępności od zaraz lub w ciągu 2 tygodni może być wyzwaniem dla osób aktualnie pracujących i potrzebujących standardowego okresu wypowiedzenia.
- !Choć praca jest zdalna, wymagana jest dyspozycyjność do godziny 17:00, co może sugerować potrzebę synchronizacji z zespołem w określonych godzinach.
- !Wymagania dotyczące Data Governance, Security, Compliance są opisane dość ogólnie, co może wymagać doprecyzowania w trakcie rozmowy.
- •Budowanie potoków danych batch i near real-time w Databricks.
- •Pisanie wydajnych transformacji danych i debugowanie problemów wydajnościowych w Spark i PySpark.
- •Praca z Delta Lake (ACID, partitioning, Z-Ordering, optimize, vacuum).
- •Zarządzanie i optymalizacja AWS S3 jako warstwy storage.
- •Integracja z usługami AWS takimi jak IAM, KMS, VPC, PrivateLink, Secrets Manager, Lambda, SNS/SQS, Glue.
- •Projektowanie środowisk dev/test/prod i separacja kont/uprawnień.
- •Pisanie i utrzymanie kodu w ramach Infrastructure as Code (Terraform).
- •Implementacja testów danych (unit, integration, data quality checks).
Oferta dla doświadczonych specjalistów (Senior).
Kandydat z minimum 4 latami doświadczenia w data engineering, posiadający co najmniej 2 lata praktycznego doświadczenia z Databricks i AWS. Powinien znać Spark/PySpark, Delta Lake i SQL, a także mieć doświadczenie w budowaniu potoków danych i podstawy IaC/CI/CD.
Rola nie jest dla osób z mniejszym niż 4-letnim doświadczeniem w data engineering lub bez doświadczenia z Databricks i AWS. Kandydaci, którzy nie mają doświadczenia w dużych migracjach danych lub nie potrafią pracować z narzędziami do automatyzacji infrastruktury, również mogą mieć trudności.
- ?Jakie są główne cele projektu migracji danych, nad którym będzie pracował inżynier?
- ?Jak wygląda obecna infrastruktura Data Lake i jakie są plany jej rozwoju?
- ?Jakie są kluczowe wyzwania związane z jakością danych w obecnym środowisku?
- ?Jak wygląda proces code review i testowania w zespole Data Engineering?
- ?Jakie są oczekiwania dotyczące współpracy z zespołami aplikacyjnymi i architektami w praktyce?
- ?Czy istnieją jakieś konkretne wymagania dotyczące zgodności z przepisami (compliance) w projekcie?
- −Nie podano szczegółów dotyczących konkretnych narzędzi CI/CD używanych w projekcie.
- −Brak informacji o konkretnych wymaganiach dotyczących monitoringu i alertowania.
- −Nie sprecyzowano, jakie konkretnie systemy CRM/ERP są używane przez klienta.
- −Nie podano informacji o wielkości zespołu, z którym będzie współpracował kandydat.
Poniżej mediany rynkowej
≈ 120,0–155,0 zł/h
Dane z aktywnych ofert zawierających technologię AWS. Pełne statystyki zarobków →