Data Engineer (AWS, Databricks)
Square One Resources
Rola Senior Data Engineera w modelu outsourcingowym (Square One Resources), gdzie będziesz pracować u klienta nad budową nowoczesnej platformy danych na AWS z Databricks. Główne obszary: projektowanie i rozwój pipeline'ów batch i near real-time, migracja baz danych (T-SQL/PL/pgSQL do Databricks), zarządzanie governance i bezpieczeństwem danych, optymalizacja kosztów i wydajności. Wymagana jest duża samodzielność w architekturze danych i ścisła współpraca z zespołami aplikacyjnymi.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: wielkość zespołu projektowego, proces rekrutacyjny (liczba etapów, zadania).
Rola Senior Data Engineera w modelu outsourcingowym (Square One Resources), gdzie będziesz pracować u klienta nad budową nowoczesnej platformy danych na AWS z Databricks. Główne obszary: projektowanie i rozwój pipeline'ów batch i near real-time, migracja baz danych (T-SQL/PL/pgSQL do Databricks), zarządzanie governance i bezpieczeństwem danych, optymalizacja kosztów i wydajności. Wymagana jest duża samodzielność w architekturze danych i ścisła współpraca z zespołami aplikacyjnymi.
- ✓Bardzo szczegółowy zakres obowiązków i wymaganych technologii – jasne oczekiwania
- ✓Nachylenie na nowoczesne praktyki: CI/CD, governance, Unity Catalog, Delta Lake
- ✓Możliwość certyfikacji (wymienione jako nice-to-have, firma może wspierać)
- ✓Praca zdalna z B2B – elastyczność kontraktowa
- −Brak podanego zakresu wynagrodzenia (widełek) w ogłoszeniu
- −Praca przez agencję rekrutacyjną (Square One Resources) – możliwy brak stabilności i rotacja projektów
- −Nieokreślony klient końcowy – nie wiadomo w jakiej branży i skali projektu
- !Model pracy 'u klienta' – może wymagać okresowej obecności w biurze klienta mimo ogólnego remote
- !Nie podano liczby zespołu ani struktury – rola może być w dużym lub małym zespole
- !Brak informacji o dyżurach (on-call) lub godzinach pracy
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Projektowanie i rozwój pipeline'ów batch oraz near real-time w Databricks z użyciem Spark/PySpark
- •Praktyczna praca z Delta Lake (ACID, partitioning, Z-Ordering, optimize, vacuum)
- •Tworzenie i zarządzanie Databricks Workflows, Jobs oraz Unity Catalog
- •Pisanie wydajnych transformacji i debugowanie problemów wydajnościowych
- •Integracja z usługami AWS (Lambda, SNS/SQS, Glue) oraz projektowanie architektury Data Lake (S3, IAM, KMS, VPC)
- •Migracja baz danych i konwersja logiki T-SQL/PL/pgSQL do Databricks, walidacja i reconciliation
- •Implementacja modeli uprawnień na poziomie katalogu, schematu, tabeli i kolumny
- •Wdrażanie CI/CD dla pipeline'ów danych i infrastruktury, testowanie i monitoring
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z dokładnie 4 latami doświadczenia, 2 lata w Databricks i 2 lata w AWS, który brał udział w migracji danych (nawet jako element zespołu) i potrafi pisać wydajne transformacje w Spark. Ma podstawową znajomość T-SQL/PL/pgSQL i Terraform.
Osoby poniżej 4 lat doświadczenia w Data Engineering lub bez minimum 2 lat w Databricks i AWS. Rola nie jest dla juniorów ani midów bez solidnego tła w chmurze i migracjach. Nie dla osób szukających pracy nad własnym produktem – to outsourcing u klienta.
- ?Kim jest klient końcowy? W jakiej branży i skali działa?
- ?Ile osób liczy zespół Data Engineering u klienta?
- ?Jak wygląda proces rekrutacji – ile etapów, czy jest zadanie domowe?
- ?Czy są zaplanowane dyżury (on-call) i jak są wynagradzane?
- ?Jak często (jeśli w ogóle) wymagana jest obecność w biurze klienta?
- ?Jaki jest budżet na szkolenia i certyfikacje (np. Databricks, AWS)?
- ?Czy projekt jest długoterminowy (powyżej roku) czy krótszy?
- ?Jakie narzędzia CI/CD są używane w projekcie?
- −Wielkość zespołu projektowego
- −Proces rekrutacyjny (liczba etapów, zadania)
- −Informacja o dyżurach on-call
- −Budżet szkoleniowy i możliwość zdobycia certyfikatów
- −Czy praca jest na jednym projekcie czy rotacyjnie
Praca u klienta w środowisku enterprise, z naciskiem na governance i bezpieczeństwo danych. Współpraca z zespołami aplikacyjnymi i architektami. Oczekiwana samodzielność i komunikatywność.