Senior Data Engineer (Python & Databricks)
CYCLAD
To rola inżyniera danych skupiona na migracji na dużą skalę z SQL Server na platformę Databricks/Delta Lake. Główne zadanie to przepisywanie złożonych logik biznesowych (stored procedures) na czysty, skalowalny kod Python/PySpark w Databricks. Praca obejmuje projektowanie modeli danych w architekturze Medallion (Bronze/Silver/Gold) i pracę z ogromnymi wolumenami danych (3500-4000 baz, 2TB). To nie jest rola analityczna ani raportowa – to czysta inżynieria danych na poziomie enterprise.
Brakuje: brak informacji o procesie rekrutacji (liczba etapów, zadanie domowe, live coding), nie podano wielkości zespołu ani struktury (np. scrum, kanban).
To rola inżyniera danych skupiona na migracji na dużą skalę z SQL Server na platformę Databricks/Delta Lake. Główne zadanie to przepisywanie złożonych logik biznesowych (stored procedures) na czysty, skalowalny kod Python/PySpark w Databricks. Praca obejmuje projektowanie modeli danych w architekturze Medallion (Bronze/Silver/Gold) i pracę z ogromnymi wolumenami danych (3500-4000 baz, 2TB). To nie jest rola analityczna ani raportowa – to czysta inżynieria danych na poziomie enterprise.
- ✓Długoterminowy projekt (do końca 2026 z możliwością przedłużenia)
- ✓Interesujące techniczne wyzwanie z dużą skalą danych
- ✓Nowoczesny stack: Databricks, Delta Lake, PySpark
- !Brak informacji o wielkości zespołu i liczbie osób pracujących nad migracją
- !Nie określono procesu rekrutacyjnego
- !Możliwa konieczność pracy z dużym legacy kodem (stored procedures) – ale to część zadania
- •Przepisywanie złożonych logik SQL (stored procedures) na skalowalny kod Python/PySpark w Databricks
- •Projektowanie i ewolucja modeli danych w architekturze Medallion (Bronze/Silver/Gold)
- •Tworzenie wielokrotnego użytku komponentów transformacji danych (pakiety, moduły)
- •Udział w code review i dyskusjach technicznych nad architekturą
- •Wsparcie orkiestracji przepływów danych w Azure Data Factory
- •Debugowanie i optymalizacja transformacji przetwarzających ogromne wolumeny danych
- •Pisanie testów i dokumentacji technicznej dla kodu produkcyjnego
Oferta dla doświadczonych specjalistów (Senior).
Data engineer z co najmniej 3-4 letnim doświadczeniem, który ma solidne podstawy w Pythonie, SQL i Databricks, ale może jeszcze nie pracować na tak dużą skalę. Musi umieć samodzielnie przepisać złożony stored procedure na PySpark.
Juniorzy lub midowie bez doświadczenia w Databricks i migracjach na dużą skalę. Osoby szukające lekkiej analizy danych lub raportowania – to czysto inżynierska rola programistyczna.
- ?Ile osób obecnie pracuje nad tą migracją i jak jest podzielony zespół?
- ?Czy istnieje już jakaś dokumentacja lub wzorce kodu do przejęcia?
- ?Jak wygląda proces code review i standardy jakości kodu?
- ?Czy są przewidziane dyżury on-call lub wsparcie produkcyjne?
- ?Jakie jest podejście do testowania – czy są już napisane testy?
- ?Czy istnieje możliwość przedłużenia projektu po 2026?
- ?Jaki jest stosunek pracy nad nowymi transformacjami do refaktoringu istniejącego kodu?
- −Brak informacji o procesie rekrutacji (liczba etapów, zadanie domowe, live coding)
- −Nie podano wielkości zespołu ani struktury (np. Scrum, Kanban)
- −Nie określono, czy wymagany jest dyżur on-call
Dynamiczne i innowacyjne środowisko inżynierskie, z naciskiem na jakość kodu i długoterminowe utrzymanie. Zespół wieloosobowy pracujący nad wspólnym kodem źródłowym.
Powyżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię SQL. Pełne statystyki zarobków →