Senior Databricks Engineer (he/she)

O Grupie Astek

Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej.

Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych.

Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2024 r. wyniosły 705 milionów euro.

Stanowisko

Obecnie dla naszego klienta z branży commerce poszukujemy kandydata/kandydatki na stanowisko Senior Databricks Engineera/-ki.

Oferowane wynagrodzenie

Wynagrodzenie: od 1200 - 1360 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji.

Model pracy :

100% zdalnie – najlepiej, gdybyś pracował z terytorium PL.

Nasz proces rekrutacji

Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem

W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej

Potrzebujesz więcej informacji? Skontaktuj się ze mną: anna.jarecka@astek.net

System rekomendacji

Znasz kogoś, kogo zainteresuje ta oferta? Skorzystaj z naszego systemu rekomendacji i zgarnij bonus do 7000 zl!

Nr ref

AO225421

Codzienne zadania

• Projektowanie, implementacja i optymalizacja rozwiązań data engineeringowych w oparciu o Azure Databricks, ADLS Gen2 oraz format Delta Lake.
• Tworzenie i utrzymywanie pipeline'ów przetwarzania danych z wykorzystaniem PySpark, Spark SQL oraz architektury medallion.
• Projektowanie wydajnych i niezawodnych procesów ETL/ELT oraz ich orkiestracja w Azure Data Factory.
• Implementacja modeli danych i warstw servingowych w oparciu o Azure Synapse Analytics lub Azure SQL Database/SQL Server.
• Budowa i utrzymanie środowiska deweloperskiego z użyciem Git, Azure DevOps oraz Databricks Repos (branching, code review, standardy kodowania).
• Dbałość o jakość i optymalizację kosztową pipeline’ów – cluster sizing, autoscaling, tuning Spark.
• Tworzenie integracji z systemami zewnętrznymi z wykorzystaniem REST API.
• Współtworzenie infrastruktury jako kod przy użyciu Terraform (IaC).
• Przygotowywanie danych na potrzeby raportowania i analityki, w tym integracja z Power BI.
• Udział w projektowaniu architektury platformy danych i rekomendowanie najlepszych praktyk.
• Pełnienie roli technicznego autorytetu w zespole (benchmark), mentoring, wsparcie merytoryczne, wprowadzanie standardów i dobrych praktyk.
• Współpraca z analitykami, data scientistami i zespołem biznesowym w celu dostarczenia skalowalnych i odpornych rozwiązań.

Must have

• PySpark
• Spark SQL