Senior Data Engineer / Tech Lead

Dołącz do projektu dla dużej firmy ubezpieczeniowej działającej na rynku USA. Poszukujemy doświadczonego Tech Leada z mocnym backgroundem Data Engineering i Databricks, który poprowadzi prace związane z wdrożeniem oraz optymalizacją przepływów danych pomiędzy systemem core a platformą Databricks.

Jeśli masz solidne doświadczenie w architekturze danych, pySpark, Azure oraz tworzeniu skalowalnych pipeline’ów — będzie to świetne wyzwanie.

Codzienne zadania

• Prowadzenie techniczne zespołu Data Engineering w obszarze Databricks & Azure
• Projektowanie i implementacja skalowalnych pipeline’ów ETL/ELT w oparciu o pySpark i Lakehouse / Medallion Architecture
• Konfiguracja środowisk Databricks (compute, workspace, optymalizacja kosztów, bezpieczeństwo)
• Budowa i utrzymanie Lakeflow Declarative Pipelines, Databricks Asset Bundles oraz procesów CI/CD
• Integracja przepływów danych pomiędzy systemem ubezpieczeniowym a platformą Databricks
• Dbanie o jakość danych, standardy, dokumentację i najlepsze praktyki
• Współpraca z globalnym klientem (USA) oraz zespołem w Polsce

Must have

• Python
• Azure Data Factory
• PySpark
• Azure SQL
• ETL
• Databricks