Senior Data Engineer – Big Data & Cloud Technologies
ITDS
To rola Senior Data Engineera w modelu outsourcingowym dla klienta z branży data & analytics. Będziesz projektować i budować skalowalne pipeline'y danych w ekosystemie Hadoop z użyciem PySpark, Scala, Hive, Spark, YARN oraz Airflow. Praca obejmuje zarówno developmement, optymalizację wydajności, jak i wsparcie produkcyjne oraz udział w architekturze systemu.
Brakuje: brak opisu procesu rekrutacyjnego (liczba etapów, zadanie domowe), nie podano, czy są benefity dodatkowe (szkolenia, konferencje).
To rola Senior Data Engineera w modelu outsourcingowym dla klienta z branży data & analytics. Będziesz projektować i budować skalowalne pipeline'y danych w ekosystemie Hadoop z użyciem PySpark, Scala, Hive, Spark, YARN oraz Airflow. Praca obejmuje zarówno developmement, optymalizację wydajności, jak i wsparcie produkcyjne oraz udział w architekturze systemu.
- ✓Nowoczesny stack big data (PySpark, Scala, Hadoop, Airflow)
- ✓Udział w architekturze i designie systemów
- !Brak informacji o konkretnej platformie chmurowej (AWS/Azure/GCP)
- !Nie podano wielkości zespołu ani liczby klientów
- !Wymagane prawo do pracy w Europie – tylko dla osób z dokumentami
- !Potencjalna rotacja między projektami (outsourcing)
- •Projektowanie i implementacja pipeline'ów danych w PySpark i Scala na klastrach Hadoop/Spark
- •Optymalizacja zapytań Spark SQL i Hive pod kątem wydajności
- •Konfiguracja i zarządzanie harmonogramami zadań w Apache Airflow
- •Współpraca z analitykami biznesowymi przy tłumaczeniu wymagań na rozwiązania techniczne
- •Wdrażanie automatycznych testów, CI/CD (Jenkins, Ansible) i monitoringu
- •Debugowanie i rozwiązywanie problemów produkcyjnych (on-call)
- •Udział w ceremoniach Agile (sprint planning, review, retro)
- •Dokumentowanie architektury i best practices
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z 4 latami doświadczenia, solidną znajomością PySpark/Scala i Hadoop, zna Airflow i SQL, ale może mieć mniejsze doświadczenie w CI/CD czy chmurze.
Juniorzy z mniej niż 3 latami doświadczenia, osoby szukające pracy w pełni zdalnej (hybryda w Krakowie) oraz inżynierowie nastawieni wyłącznie na greenfield – rola wymaga wsparcia produkcyjnego.
- ?Jak duży jest zespół, w którym będę pracował? Ilu jest data engineerów?
- ?Czy istnieje możliwość przejścia na wewnętrzne projekty ITDS lub zmiany klienta?
- ?Jaki jest rzeczywisty stosunek pracy nad pipeline'ami do wsparcia produkcyjnego?
- −Brak opisu procesu rekrutacyjnego (liczba etapów, zadanie domowe)
- −Nie podano, czy są benefity dodatkowe (szkolenia, konferencje)
- −Brak informacji o konkretnej platformie chmurowej (AWS, Azure, GCP)
- −Nie wiadomo, ile osób liczy zespół i kto jest bezpośrednim przełożonym
Praca w zespole data engineering w modelu Agile (Scrum/Kanban) z naciskiem na współpracę z analitykami biznesowymi i utrzymanie systemów produkcyjnych.