Ops Engineer
emagine
Rola skupia się na konfiguracji i utrzymaniu procesów pozyskiwania danych do Hadoop z wykorzystaniem frameworka ARC. Praca polega na przygotowywaniu i testowaniu konfiguracji dla nowych źródeł danych, utrzymaniu istniejących potoków oraz rozwiązywaniu problemów związanych z ingesti danych. Jest to rola operacyjna w obszarze data engineering, osadzona w bankowości, na kontrakcie B2B przez agencję.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: wielkość i struktura zespołu, harmonogram dyżurów on-call.
Mimo tytułu 'Ops Engineer', rola koncentruje się na data engineeringu i operacjach związanych z ingestią danych do Hadoop, a nie na ogólnym IT ops. To bardziej Data Ops/Platform Engineer specjalizujący się w Hadoop.
Rola skupia się na konfiguracji i utrzymaniu procesów pozyskiwania danych do Hadoop z wykorzystaniem frameworka ARC. Praca polega na przygotowywaniu i testowaniu konfiguracji dla nowych źródeł danych, utrzymaniu istniejących potoków oraz rozwiązywaniu problemów związanych z ingesti danych. Jest to rola operacyjna w obszarze data engineering, osadzona w bankowości, na kontrakcie B2B przez agencję.
- −Opis bardzo ogólny – brak konkretów dotyczących frameworka ARC, wielkości zespołu, długości projektu
- −Rola przez agencję (outsourcing) – mniejsza stabilność
- !Hybryda 3 dni w biurze – ograniczona elastyczność
- !Brak informacji o dyżurach on-call
- !Wymóg znajomości wielu narzędzi (Jira, Confluence, Helix) może oznaczać dużo administracji
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Konfigurowanie nowych źródeł danych w frameworku ARC na Hadoop
- •Testowanie konfiguracji ingesti danych przed wdrożeniem produkcyjnym
- •Monitorowanie i utrzymanie istniejących potoków ingesti danych
- •Diagnozowanie i rozwiązywanie problemów z ingestią i konfiguracjami
- •Praca w środowisku Unix/Linux przy zarządzaniu skryptami i plikami konfiguracyjnymi
- •Używanie SQL do walidacji danych i diagnostyki
- •Kodowanie i przegląd zmian w repozytorium GIT
- •Współpraca w zespole Agile z innymi zespołami (cross-functional)
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Osoba z 1-2 latami doświadczenia, która potrafi pracować w Unix/Linux, pisać zapytania SQL i używać GIT. Posiada podstawowe umiejętności analityczne i chęć rozwiązywania problemów. Może to być początkujący data engineer lub admin zorientowany na dane.
Nie dla osób szukających wyłącznie roli developerskiej z dużym kodem produkcyjnym. Nie dla juniorów bez żadnego doświadczenia w Linux/SQL ani dla seniorów oczekujących pełnej autonomii architektonicznej – rola ma charakter operacyjny i konfiguracyjny.
- ?Jaki jest stosowany framework ARC – open source czy własny? Czy istnieje dokumentacja?
- ?Ile źródeł danych jest obecnie ingestowanych? Jakie jest tempo dodawania nowych?
- ?Jaki jest harmonogram dyżurów on-call i jakie są oczekiwania co do dostępności poza godzinami pracy?
- ?Jak duży jest zespół, w którym przyjdzie pracować? Czy są inne osoby odpowiedzialne za data engineering?
- ?Czy istnieje możliwość pracy zdalnej więcej niż 2 dni w tygodniu?
- ?Jaki jest przewidywany czas trwania projektu i czy jest możliwość przedłużenia?
- ?Czy wymagane jest doświadczenie w bankowości, czy to tylko kontekst projektu?
- −Wielkość i struktura zespołu
- −Harmonogram dyżurów on-call
- −Częstotliwość dodawania nowych źródeł danych
- −Poziom skomplikowania istniejących potoków
- −Możliwości rozwoju i szkoleń
- −Proces rekrutacyjny (etapy, czas)