Data Engineer (Azure)
Ampstek
Rola Data Engineera z naciskiem na PySpark i Python w środowisku Azure. Będziesz projektować, budować i optymalizować skalowalne pipeline'y danych, głównie ETL/ELT, używając PySpark, Python i Azure Data Factory. Praca w trybie hybrydowym w Krakowie, na kontrakcie (prawdopodobnie B2B) przez agencję rekrutacyjną dla klienta końcowego. Codzienna współpraca z Data Scientistami, Analitykami i Architektami.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: brak informacji o konkretnym projekcie lub produkcie, nie określono liczby dni hybrydowych.
Rola Data Engineera z naciskiem na PySpark i Python w środowisku Azure. Będziesz projektować, budować i optymalizować skalowalne pipeline'y danych, głównie ETL/ELT, używając PySpark, Python i Azure Data Factory. Praca w trybie hybrydowym w Krakowie, na kontrakcie (prawdopodobnie B2B) przez agencję rekrutacyjną dla klienta końcowego. Codzienna współpraca z Data Scientistami, Analitykami i Architektami.
- −Agencja rekrutacyjna (Ampstek) – praca kontraktowa dla klienta zewnętrznego, brak informacji o kliencie
- −Tryb hybrydowy bez określenia liczby dni w biurze – może być nieelastyczny
- −Brak opisu zespołu, projektu ani konkretnych benefitów
- !Brak informacji o kliencie końcowym i branży
- !Nieznany proces rekrutacyjny – brak etapów
- !Kontrakt (B2B?) – należy doprecyzować warunki
- !Ogólnikowy opis, typowy dla agencji – może nie oddawać realiów projektu
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Projektowanie i rozwój pipeline'ów danych w PySpark (DataFrames, Spark SQL)
- •Implementacja i optymalizacja workflowów ETL/ELT w Azure Data Factory
- •Pisanie wydajnych skryptów w Pythonie do przetwarzania danych na dużą skalę
- •Optymalizacja wydajności zadań przetwarzania danych (partycypowanie, cache'owanie, joiny)
- •Praca z danymi strukturalnymi i niestrukturalnymi z różnych źródeł
- •Współpraca z zespołami Data Science, Analityki i Architektury w celu dostarczenia danych
- •Zapewnianie jakości, niezawodności i integralności danych w pipeline'ach
- •Rozwiązywanie problemów z wydajnością i debugowanie zadań przetwarzania
Oferta dla doświadczonych specjalistów (Senior).
Osoba z co najmniej 6 latami w IT i 4 latami w PySpark/Python, z podstawową znajomością ADF i SQL, gotowa nauczyć się optymalizacji i pracy z rozproszonymi systemami.
Nie dla osób z mniej niż 6 latami doświadczenia IT lub mniej niż 4 latami w PySpark/Python. Nie dla juniorów ani midów bez solidnej znajomości PySpark i ADF.
- ?Jaki jest klient końcowy i w jakiej branży działa?
- ?Ile osób liczy zespół Data Engineering?
- ?Jakie są dokładne dni/modele pracy hybrydowej (np. 2 dni w biurze)?
- ?Jaki jest przewidywany czas trwania kontraktu?
- ?Czy w projekcie używane są również inne narzędzia poza wymienionymi w ogłoszeniu?
- ?Jaki jest proces rekrutacji – ile etapów, czy jest zadanie domowe?
- ?Czy są dyżury on-call lub praca w weekendy?
- −Brak informacji o konkretnym projekcie lub produkcie
- −Nie określono liczby dni hybrydowych
- −Brak opisu procesu rekrutacyjnego
- −Nie wiadomo, czy są benefity dla kontraktorów
- −Brak informacji o wielkości zespołu i strukturze