Data Platform Engineer
QED.ai
Rola skupia się na budowaniu i utrzymywaniu platformy danych dla organizacji pracującej nad globalnym zdrowiem publicznym i bezpieczeństwem żywnościowym w Afryce Subsaharyjskiej. Będziesz projektować pipeline'y ETL/ELT, dbać o niezawodność danych (idempotentność, backfille), strukturyzować warstwy danych (raw, cleaned, curated) i wybierać odpowiednie podejścia (batch, micro-batch, streaming). Pracujesz w małym, wielokulturowym zespole z dużym zakresem odpowiedzialności i możliwością wpływu na architekturę.
Brakuje: nie podano konkretów dotyczących chmury (aws/gcp/azure), brak informacji o narzędziach do orkiestracji używanych produkcyjnie.
Rola skupia się na budowaniu i utrzymywaniu platformy danych dla organizacji pracującej nad globalnym zdrowiem publicznym i bezpieczeństwem żywnościowym w Afryce Subsaharyjskiej. Będziesz projektować pipeline'y ETL/ELT, dbać o niezawodność danych (idempotentność, backfille), strukturyzować warstwy danych (raw, cleaned, curated) i wybierać odpowiednie podejścia (batch, micro-batch, streaming). Pracujesz w małym, wielokulturowym zespole z dużym zakresem odpowiedzialności i możliwością wpływu na architekturę.
- ✓Projekty o realnym wpływie społecznym (globalne zdrowie, bezpieczeństwo żywnościowe)
- ✓Duża autonomia i możliwość decydowania o architekturze
- ✓Elastyczne godziny pracy i możliwość wyjścia w ciągu dnia bez zgody
- ✓Opłacane podróże do Afryki (opcjonalnie)
- ✓Zachęta do eksploracji nowych technologii poza głównym obszarem
- !Wymagana obecność w biurze 2-3 dni w tygodniu (hybryda)
- !Mała firma (26-50 osób) może oznaczać mniejszą stabilność
- !Wzmianka o 'willingness to go on an adventure' może sugerować nieprzewidywalne warunki
- !Oczekiwanie 'emotional resilience and social intelligence' może wskazywać na stresujące środowisko
- •Projektowanie i implementacja pipeline'ów ETL/ELT w Pythonie
- •Pisanie testów i przeprowadzanie code review
- •Uczestnictwo w sesjach projektowych dotyczących architektury danych
- •Konfiguracja i zarządzanie kontenerami (Docker) oraz orkiestracją (Kubernetes)
- •Monitorowanie pipeline'ów i obsługa opóźnionych lub błędnych danych
- •Praca z warstwami danych: surowe, oczyszczone, gotowe do analiz
- •Dokumentowanie architektury i logiki pipeline'ów
- •Współpraca z zespołem przy użyciu systemu kontroli wersji (Git)
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Minimalny profil to data engineer z co najmniej 2-3 letnim doświadczeniem w ETL/ELT, dobrze znający SQL i Pythona, potrafiący projektować niezawodne pipeline'y i komunikujący się po angielsku. Akceptuje hybrydową pracę w Warszawie (2-3 dni w biurze) i jest otwarty na pracę w organizacji o misji społecznej.
Oferta nie jest dla juniorów bez doświadczenia w pipeline'ach danych, osób szukających wyłącznie pracy zdalnej lub preferujących duże, korporacyjne struktury. Nie sprawdzi się też ktoś, kto nie jest gotowy na pracę w kulturowo zróżnicowanym zespole i elastyczne podejście do technologii.
- ?Ile osób liczy zespół data platform i jak jest zorganizowany?
- ?Jakie technologie są używane produkcyjnie (chmura, narzędzia do orkiestracji)?
- ?Czy są dyżury on-call? Jak często?
- ?Jaki jest proces rekrutacyjny (ile etapów, czy jest zadanie domowe)?
- ?Czy istnieje budżet na szkolenia i konferencje?
- ?Jakie są perspektywy rozwoju w firmie?
- ?Czy wymagana jest znajomość Django produkcyjnie, czy to tylko bonus?
- −Nie podano konkretów dotyczących chmury (AWS/GCP/Azure)
- −Brak informacji o narzędziach do orkiestracji używanych produkcyjnie
- −Nie wiadomo, czy istnieje system on-call
- −Brak opisu procesu rekrutacyjnego
- −Nie określono, nad jakim konkretnie projektem miałby pracować nowy inżynier
Mały, wielokulturowy zespół o płaskiej strukturze, z dużym poczuciem misji i autonomią techniczną. Współpraca opiera się na regularnych sesjach projektowych i code review, a atmosfera sprzyja eksperymentowaniu z nowymi technologiami.
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię ETL. Pełne statystyki zarobków →