Senior Databricks Engineer
Entrada
Rola koncentruje się na budowie skalowalnych potoków danych z użyciem Apache Spark na platformie Databricks, optymalizacji wydajności i kosztów oraz migracji legacy data warehouse do architektury Lakehouse z Delta Lake. Dodatkowo obejmuje utrzymywanie standardów jakości kodu poprzez code review i CI/CD, a także mentoring i doradztwo techniczne dla klientów. To stanowisko wymaga nie tylko pisania kodu, ale też rozwiązywania problemów architektonicznych i współpracy z klientem.
Brakuje: nie podano wielkości zespołu, brak opisu procesu rekrutacyjnego.
Rola koncentruje się na budowie skalowalnych potoków danych z użyciem Apache Spark na platformie Databricks, optymalizacji wydajności i kosztów oraz migracji legacy data warehouse do architektury Lakehouse z Delta Lake. Dodatkowo obejmuje utrzymywanie standardów jakości kodu poprzez code review i CI/CD, a także mentoring i doradztwo techniczne dla klientów. To stanowisko wymaga nie tylko pisania kodu, ale też rozwiązywania problemów architektonicznych i współpracy z klientem.
- ✓Nowoczesny stack technologiczny (Databricks, Delta Lake, Unity Catalog)
- ✓Możliwość pracy zdalnej
- ✓Wysokie stawki B2B
- ✓Nacisk na code review i CI/CD – dojrzały proces inżynieryjny
- ✓Rola z komponentem mentorskim i doradczym
- !Brak informacji o wielkości zespołu i liczbie klientów
- !Nie określono, czy praca dotyczy jednego projektu, czy rotacji między klientami
- !Brak wzmianki o dyżurach on-call
- !Nie podano procesu rekrutacyjnego
- •Projektowanie i implementacja skalowalnych potoków danych w PySpark na Databricks
- •Optymalizacja zadań Spark pod kątem wydajności i kosztów (partycjonowanie, Z-ordering, wykorzystanie Photon)
- •Migracja legacy data warehouse do Lakehouse z wykorzystaniem Delta Lake
- •Przeprowadzanie code review oraz implementacja CI/CD z użyciem Databricks Asset Bundles
- •Doradztwo techniczne dla klientów i dzielenie się wiedzą z zespołem
- •Praca z Unity Catalog do zarządzania dostępem i katalogowaniem danych
- •Tworzenie i utrzymanie dokumentacji technicznej oraz standardów jakości
Oferta dla doświadczonych specjalistów (Senior).
Doświadczony Data Engineer z 5+ latami w branży, solidną znajomością Databricks (3+ lata), Pythonem i SQL, oraz praktyką w chmurze Azure lub AWS. Osoba komunikatywna w języku angielskim, gotowa do bezpośredniego kontaktu z klientem i podejmowania odpowiedzialności za jakość kodu.
Nie dla juniorów ani mid-level developerów bez konkretnego doświadczenia z Databricks i rozproszonymi potokami danych. Osoby preferujące tylko pisanie kodu bez kontaktu z klientem i odpowiedzialności architektonicznej również nie będą tu pasować.
- ?Ile osób liczy zespół i jaki jest podział ról?
- ?Czy praca dotyczy jednego klienta, czy rotacji między projektami?
- ?Jak wygląda proces rekrutacyjny – ile etapów, czy są zadania domowe?
- ?Czy są przewidziane dyżury on-call? Jeśli tak, z jaką częstotliwością?
- ?Jaki jest budżet na szkolenia i certyfikacje?
- ?Czy istnieje możliwość wpływu na wybór narzędzi i architekturę?
- ?Jak wygląda współpraca z klientem – bezpośrednio czy przez pośredników?
- −Nie podano wielkości zespołu
- −Brak opisu procesu rekrutacyjnego
- −Nie określono częstotliwości dyżurów on-call
- −Nie wiadomo, czy praca dotyczy jednego konkretnego projektu, czy rotacji między klientami
Zespół stawia na wysoką jakość kodu, CI/CD i mentoring. Prawdopodobnie kultura oparta na współpracy i dzieleniu się wiedzą, z bezpośrednim kontaktem z klientem.