Senior Data Engineer
DCG
Rola Senior Data Engineera w DCG skupia się na tworzeniu i utrzymaniu potoków danych wspierających raportowanie regulacyjne dla inicjatywy, wykorzystując technologie takie jak Hadoop, Spark i Kafka. Kandydat będzie odpowiedzialny za projektowanie rozwiązań przetwarzania rozproszonych danych, pisanie złożonych transformacji SQL, zarządzanie przepływami pracy za pomocą Oozie i Airflow, a także za wsparcie L3 dla systemów produkcyjnych i współpracę z zespołami Production Assurance.
Brakuje: brak szczegółów na temat konkretnych projektów lub inicjatyw, nad którymi będzie pracował kandydat., nie podano informacji o częstotliwości i obciążeniu dyżurów l3..
Rola Senior Data Engineera w DCG skupia się na tworzeniu i utrzymaniu potoków danych wspierających raportowanie regulacyjne dla inicjatywy, wykorzystując technologie takie jak Hadoop, Spark i Kafka. Kandydat będzie odpowiedzialny za projektowanie rozwiązań przetwarzania rozproszonych danych, pisanie złożonych transformacji SQL, zarządzanie przepływami pracy za pomocą Oozie i Airflow, a także za wsparcie L3 dla systemów produkcyjnych i współpracę z zespołami Production Assurance.
- ✓Praca nad raportowaniem regulacyjnym może być interesująca dla osób szukających stabilności i wpływu na kluczowe procesy firmy.
- ✓Współpraca z zespołami Production Assurance może zapewnić ciekawe wyzwania związane ze stabilnością systemów.
- !Brak szczegółowych informacji o konkretnych projektach lub inicjatywach, nad którymi będzie pracował kandydat.
- !Nie jest jasno określone, jak często występują dyżury L3 i jakie jest ich obciążenie.
- •Rozwijanie i utrzymywanie potoków danych wspierających raportowanie regulacyjne.
- •Projektowanie i implementacja rozproszonych rozwiązań przetwarzania danych przy użyciu Hadoop i Spark.
- •Tłumaczenie złożonych wymagań biznesowych na efektywne i wykonalne transformacje SQL.
- •Budowanie i utrzymywanie transformacji danych opartych na SQL dla przetwarzania danych regulacyjnych.
- •Zarządzanie i monitorowanie orkiestracji przepływu pracy przy użyciu Oozie i Airflow.
- •Praca z architekturami sterowanymi zdarzeniami, w tym Kafka.
- •Zapewnianie wsparcia L3 dla systemów produkcyjnych, w tym analizy incydentów i ich rozwiązywania.
- •Współpraca z zespołami Production Assurance w celu zapewnienia stabilności systemu.
Oferta dla doświadczonych specjalistów (Senior).
Kandydat z silnym doświadczeniem w inżynierii danych, biegły w SQL, z praktycznym doświadczeniem w Hadoop, Spark, Airflow i Kafka. Powinien być w stanie zapewnić wsparcie produkcyjne L3 i efektywnie komunikować się z interesariuszami biznesowymi.
Rola nie jest dla osób bez doświadczenia w inżynierii danych, bez znajomości SQL, Hadoop, Spark, Airflow lub Kafka. Nie jest również dla osób, które nie potrafią zapewnić wsparcia produkcyjnego lub mają trudności z komunikacją z biznesem.
- ?Jakie są główne wyzwania związane z raportowaniem regulacyjnym, nad którym będzie pracował inżynier?
- ?Jak wygląda typowy dzień pracy inżyniera L3 w tym zespole?
- ?Jakie są oczekiwania dotyczące częstotliwości i obciążenia dyżurów L3?
- ?Czy zespół korzysta z konkretnych narzędzi do monitorowania i alertowania systemów?
- ?Jakie są plany rozwoju technologii w zespole w najbliższym czasie?
- ?Jak wygląda proces współpracy z zespołami Production Assurance?
- −Brak szczegółów na temat konkretnych projektów lub inicjatyw, nad którymi będzie pracował kandydat.
- −Nie podano informacji o częstotliwości i obciążeniu dyżurów L3.
- −Brak opisu procesu rekrutacyjnego.
null
Proces rekrutacyjny składa się z rozmowy telefonicznej z rekruterem, spotkania online z managerem, a następnie 'Welcome on a board'.
Powyżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię Hadoop. Pełne statystyki zarobków →