
Data Engineer / Big Data Administrator
Billennium•Poland (Remote)
💰 Wynagrodzenie
Widełki nieujawnione
📋 Informacje
🛠 Wymagane technologie
📝 Opis główny / Wstęp
Billennium to globalna firma technologiczna z ponad 20-letnim doświadczeniem, zaangażowana w innowacje i wspieranie przedsiębiorstw. Jako pracodawca oferujemy wspierające, nastawione na rozwój środowisko, w którym współpraca i kreatywność to naczelne wartości. Dołącz do nas, aby wspólnie kształtować przyszłość technologii!
Kogo szukamy?
Do naszego zespołu poszukujemy doświadczonej osoby na stanowisko Data Engineera, która wesprze nas w realizacji projektów IT — w obszarze public.
Zakres zadań:
Budowa i rozwój rozwiązań w architekturze datalake/lakehouse.
Praca z formatem tabelarycznym Apache Iceberg (tworzenie, optymalizacja, zarządzanie).
Tworzenie i utrzymywanie pipeline’ów danych z wykorzystaniem Apache Spark oraz StarRocks.
Realizacja transformacji danych w SQL oraz Pythonie.
Uruchamianie i monitorowanie obciążeń Big Data w środowisku Kubernetes oraz praca z magazynami obiektowymi S3.
Modelowanie danych oraz dbanie o ich jakość i spójność.
Współtworzenie procesów orkiestracji, CI/CD oraz praktyk związanych z data governance.
Stosowanie dobrych praktyk inżynierii danych i optymalizacja istniejących rozwiązań.
Niezbędne umiejętności i kwalifikacje:
Doświadczenie zawodowe w obszarze Data (np. jako Big Data Administrator lub w rolach pokrewnych)
Znajomość architektury datalake/lakehouse.
Umiejętność pracy z silnikami przetwarzania Apache Spark, Starrocks
Bardzo dobra znajomość SQL oraz Python (w zakresie pracy z danymi)
Doświadczenie w pracy z magazynem obiektowym S3 czy uruchamianiu obciążeń Big Data w środowisku Kubernetes.
Znajomość zagadnień takich jak modelowanie danych, jakość danych, orkiestracja, CI/CD, data governance
Znajomość dobrych praktyk w dziedzinie data engineering.