Senior Data Engineer (DataBricks & Azure)
DataArt
To rola Senior Data Engineer'a w zespole dostarczającym rozwiązania danych dla klienta z branży home improvement (sieć ponad 2000 sklepów). Będziesz projektować i utrzymywać pipeline'y ETL w chmurze Azure z użyciem Databricks, PySpark, dbt oraz Unity Catalog. Pracujesz w cross-funkcjonalnym zespole (Data Engineers, QA, Scrum Master) w metodyce Agile. Codzienna praca to optymalizacja zapytań SQL, automatyzacja przepływów danych i monitorowanie wydajności.
Brakuje: nie podano procesu rekrutacyjnego (etapy, forma), brak informacji o on-call i wsparciu produkcyjnym.
To rola Senior Data Engineer'a w zespole dostarczającym rozwiązania danych dla klienta z branży home improvement (sieć ponad 2000 sklepów). Będziesz projektować i utrzymywać pipeline'y ETL w chmurze Azure z użyciem Databricks, PySpark, dbt oraz Unity Catalog. Pracujesz w cross-funkcjonalnym zespole (Data Engineers, QA, Scrum Master) w metodyce Agile. Codzienna praca to optymalizacja zapytań SQL, automatyzacja przepływów danych i monitorowanie wydajności.
- ✓Fully paid idle (bench) – płatne przerwy między projektami
- ✓Certification reimbursement (AWS, GCP, Microsoft)
- ✓10 dni chorobowych w roku bez zwolnienia lekarskiego
- ✓Dostęp do platform edukacyjnych (O'Reilly, LinkedIn Learning, Udemy)
- ✓Wewnętrzny program mentoringu i rozwoju jako public speaker/menor/interviewer
- !Brak opisu procesu rekrutacyjnego
- !Nie podano wielkości zespołu ani struktury raportowania
- !Outsourcing – praca u klienta zewnętrznego, co może wiązać się z rotacją projektów
- •Projektowanie i implementacja procesów ETL w Azure Databricks i Azure Data Factory
- •Optymalizacja zapytań SQL dla dużych zbiorów danych
- •Utrzymanie i rozwijanie pipeline'ów danych z użyciem PySpark
- •Praca z Delta Tables, Delta Live Tables i Unity Catalog
- •Modelowanie danych zgodnie z Medallion Architecture
- •Współpraca z zespołem przy definiowaniu wymagań danych i rozwiązywaniu problemów
- •Monitorowanie i debugowanie przepływów danych w produkcji
- •Tworzenie dokumentacji technicznej i code review
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z co najmniej 3-4 latami doświadczenia w produkcji, znający dobrze Python, SQL i Azure Databricks. Może mieć mniejsze doświadczenie w dbt lub Unity Catalog, ale musi być gotów szybko się uczyć.
Nie dla juniorów ani osób bez praktycznego doświadczenia z Azure Databricks i PySpark. Rola wymaga zaawansowanych umiejętności i samodzielności w projektowaniu rozwiązań danych.
- ?Ile osób liczy zespół data engineering i jak jest podzielony na role?
- ?Jaki jest stosunek pracy nad nowymi funkcjonalnościami do utrzymania istniejących pipeline'ów?
- ?Czy są dyżury on-call? Jak często?
- ?Jakie jest źródło danych i ich przybliżona objętość?
- ?Czy dbt jest już wdrożony, czy to nowa inicjatywa?
- ?Jak wygląda proces CI/CD dla pipeline'ów danych?
- ?Jakie są plany rozwoju technologicznego w najbliższych 12 miesiącach?
- −Nie podano procesu rekrutacyjnego (etapy, forma)
- −Brak informacji o on-call i wsparciu produkcyjnym
- −Nieznana jest wielkość zespołu i struktura raportowania
- −Nie podano tożsamości klienta (firma home improvement nie nazwana)
- −Brak informacji o czasie trwania projektu
Dynamiczny, agile'owy zespół data engineering z doświadczonym liderem danych, w skład którego wchodzą Data Engineers, Data Designers, QA i Scrum Master. Współpraca cross-funkcjonalna i nastawienie na innowacje.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię Python. Pełne statystyki zarobków →