Senior Data Engineer (she/he)
ASTEK Polska
Rola polega na budowaniu i utrzymaniu end-to-end pipeline'ów danych dla systemów pojazdów autonomicznych (AV). Praca z ogromnymi wolumenami danych sensorowych (radar, kamery, LiDAR) w środowisku chmurowym, z wykorzystaniem Python, SQL, Spark oraz narzędzi orkiestracji. Zespół dostarcza dane do symulacji i walidacji AV. To klasyczna rola Data Engineera w innowacyjnym, międzynarodowym projekcie.
Brakuje: nie podano konkretnego cloud providera (aws/gcp/azure), nie podano wielkości zespołu.
Rola polega na budowaniu i utrzymaniu end-to-end pipeline'ów danych dla systemów pojazdów autonomicznych (AV). Praca z ogromnymi wolumenami danych sensorowych (radar, kamery, LiDAR) w środowisku chmurowym, z wykorzystaniem Python, SQL, Spark oraz narzędzi orkiestracji. Zespół dostarcza dane do symulacji i walidacji AV. To klasyczna rola Data Engineera w innowacyjnym, międzynarodowym projekcie.
- ✓100% zdalnie
- ✓Długoterminowy projekt (nie krótkoterminowy kontrakt)
- ✓Nowoczesny stack: PySpark, Databricks, Airflow/Argo
- ✓Międzynarodowe środowisko pracy
- ✓Jasny proces rekrutacji (3 etapy, opisany)
- ✓Szkolenia techniczne, certyfikaty, mentoring, ścieżka kariery
- !Niejasne określenie 'kilkuletnie doświadczenie' (bez konkretnych lat)
- !Dwa spotkania tygodniowo o 18:00 – mogą być uciążliwe
- !Outsourcing – praca u klienta, nie bezpośrednie zatrudnienie
- !Brak informacji o konkretnym cloud providerze i narzędziach CI/CD
- !Proces rekrutacji może obejmować dodatkowy etap weryfikacji technicznej (nieokreślony)
- •Rozwój i utrzymanie pipeline'ów danych przetwarzających duże wolumeny danych sensorowych
- •Tworzenie i optymalizacja rozwiązań w Python i SQL
- •Orkiestracja workflowów z użyciem Airflow, Argo Workflows lub podobnych
- •Praca z nowoczesnymi platformami danych i rozwiązaniami chmurowymi
- •Rozwiązywanie problemów wydajnościowych i operacyjnych w środowiskach produkcyjnych
- •Współpraca przy przygotowywaniu danych do symulacji i rozwoju systemów AV
- •Wsparcie procesów data discovery i data search
- •Analiza danych z systemów radarowych, kamer oraz LiDAR
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z co najmniej kilkuletnim doświadczeniem, solidną znajomością Python i SQL, oraz praktyką w budowie i utrzymaniu pipeline'ów danych na dużą skalę. Potrafi samodzielnie rozwiązywać problemy wydajnościowe i współpracować w zespole.
Nie dla juniorów bez doświadczenia w Data Engineering, ani dla osób, które wolą pracę wyłącznie w stałych godzinach bez elastyczności (dwa spotkania tygodniowo o 18:00).
- ?Jak duży jest zespół projektowy i ile osób pracuje po stronie klienta?
- ?Jaki cloud provider (AWS/GCP/Azure) jest używany?
- ?Czy są planowane dyżury on-call? Jak często?
- ?Jaki jest zakres odpowiedzialności za architekturę danych? Czy projektujemy pipeline'y od zera?
- ?Jakie narzędzia do wersjonowania danych i CI/CD są stosowane?
- ?Czy istnieje możliwość przejścia na bezpośrednią współpracę z klientem po pewnym czasie?
- ?Jakie są konkretne godziny pracy? Czy 2 spotkania o 18:00 są stałe?
- ?Jaki jest poziom autonomii technicznej – czy możemy proponować nowe rozwiązania?
- −Nie podano konkretnego cloud providera (AWS/GCP/Azure)
- −Nie podano wielkości zespołu
- −Brak informacji o on-call / dyżurach
- −Nie podano szczegółów dotyczących wersjonowania danych i CI/CD
- −Nie określono zakresu odpowiedzialności za architekturę danych
Międzynarodowe, zdalne środowisko pracy z naciskiem na współpracę, innowacje i dzielenie się wiedzą (mentoring, Competence Center).
3 etapy: rozmowa z Rekruterem -> rozmowa z Business Managerem -> spotkanie z Klientem. W uzasadnionych przypadkach dodatkowy etap weryfikacji technicznej.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię PySpark. Pełne statystyki zarobków →