Senior Databricks Engineer (he/she)
📝 Opis główny / Wstęp
O Grupie Astek
Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej.
Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych.
Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2024 r. wyniosły 705 milionów euro.
Stanowisko
Obecnie dla naszego klienta z branży commerce poszukujemy kandydata/kandydatki na stanowisko Senior Databricks Engineera/-ki.
Oferowane wynagrodzenie
Wynagrodzenie: od 1200 - 1360 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji.
Model pracy :
100% zdalnie – najlepiej, gdybyś pracował z terytorium PL.
Nasz proces rekrutacji
Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem
W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej
Potrzebujesz więcej informacji? Skontaktuj się ze mną: anna.jarecka@astek.net
System rekomendacji
Znasz kogoś, kogo zainteresuje ta oferta? Skorzystaj z naszego systemu rekomendacji i zgarnij bonus do 7000 zl!
Nr ref
AO225421
Codzienne zadania
- Projektowanie, implementacja i optymalizacja rozwiązań data engineeringowych w oparciu o Azure Databricks, ADLS Gen2 oraz format Delta Lake.
- Tworzenie i utrzymywanie pipeline'ów przetwarzania danych z wykorzystaniem PySpark, Spark SQL oraz architektury medallion.
- Projektowanie wydajnych i niezawodnych procesów ETL/ELT oraz ich orkiestracja w Azure Data Factory.
- Implementacja modeli danych i warstw servingowych w oparciu o Azure Synapse Analytics lub Azure SQL Database/SQL Server.
- Budowa i utrzymanie środowiska deweloperskiego z użyciem Git, Azure DevOps oraz Databricks Repos (branching, code review, standardy kodowania).
- Dbałość o jakość i optymalizację kosztową pipeline’ów – cluster sizing, autoscaling, tuning Spark.
- Tworzenie integracji z systemami zewnętrznymi z wykorzystaniem REST API.
- Współtworzenie infrastruktury jako kod przy użyciu Terraform (IaC).
- Przygotowywanie danych na potrzeby raportowania i analityki, w tym integracja z Power BI.
- Udział w projektowaniu architektury platformy danych i rekomendowanie najlepszych praktyk.
- Pełnienie roli technicznego autorytetu w zespole (benchmark), mentoring, wsparcie merytoryczne, wprowadzanie standardów i dobrych praktyk.
- Współpraca z analitykami, data scientistami i zespołem biznesowym w celu dostarczenia skalowalnych i odpornych rozwiązań.
Must have
- PySpark
- Spark SQL