Data Engineer with Cloud (m/f/d)
Square One Resources
To rola Data Engineera wspierającego pipeline'y danych symulacyjnych dla rozwoju pojazdów autonomicznych (AV). Główne zadania to utrzymanie i optymalizacja istniejących pipeline'ów (FST factory), analiza danych z użyciem SQL, Python, Spark oraz notebooków, monitorowanie i debugowanie workflowów w Airflow/Argo. Praca ma charakter operacyjny i analityczny, z naciskiem na stabilność i wydajność danych. Firma to agencja rekrutacyjna (Square One Resources), więc praca odbywa się u klienta.
Brakuje: nie podano konkretnego dostawcy chmury, brak informacji o wielkości zespołu i strukturze.
To rola Data Engineera wspierającego pipeline'y danych symulacyjnych dla rozwoju pojazdów autonomicznych (AV). Główne zadania to utrzymanie i optymalizacja istniejących pipeline'ów (FST factory), analiza danych z użyciem SQL, Python, Spark oraz notebooków, monitorowanie i debugowanie workflowów w Airflow/Argo. Praca ma charakter operacyjny i analityczny, z naciskiem na stabilność i wydajność danych. Firma to agencja rekrutacyjna (Square One Resources), więc praca odbywa się u klienta.
- ✓Widełki wynagrodzenia podane transparentnie
- ✓100% zdalnie
- ✓Start ASAP – szybki proces
- ✓Ciekawa domena autonomicznych pojazdów (AV)
- !Rola realizowana u klienta (outsourcing) – brak informacji o kliencie i stabilności projektu
- !Nie podano konkretnego dostawcy chmury (AWS/Azure/GCP)
- !Brak informacji o wielkości zespołu i ilości projektów
- !Niejasne, ile nowych rozwiązań vs. utrzymanie legacy
- •Utrzymywanie i wsparcie pipeline'ów danych FST factory w chmurze
- •Analiza dużych zbiorów danych za pomocą SQL, Python i Spark w notebookach
- •Debugowanie incydentów i błędów w pipeline'ach danych
- •Monitorowanie, diagnozowanie i optymalizacja orkiestracji workflowów (Airflow, Argo)
- •Współpraca z zespołami backendowymi i infrastrukturalnymi przy mikroserwisach i systemach storage
- •Tworzenie skryptów automatyzujących przetwarzanie danych i debugowanie
- •Analiza niespójności danych i problemów wydajnościowych na platformie
- •Poprawa obserwowalności (observability) i monitoringu workflowów danych
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Data Engineer z co najmniej 2-letnim doświadczeniem w pracy z pipeline'ami danych, biegły w SQL i Pythonie, z podstawową znajomością narzędzi orkiestracji i chmury.
Juniorzy bez praktycznego doświadczenia w utrzymaniu produkcyjnych pipeline'ów danych. Osoby szukające wyłącznie nowych projektów greenfield – rola skupia się na wsparciu i optymalizacji istniejących systemów.
- ?Jaki jest konkretny dostawca chmury (AWS/GCP/Azure) i jakie usługi są używane?
- ?Ile osób liczy zespół Data Engineering i jak wygląda podział obowiązków?
- ?Czy w projekcie występują dyżury on-call? Jak często?
- ?Jaki jest przewidywany czas trwania projektu?
- ?Czy istnieje możliwość przejścia na inny projekt w ramach firmy?
- ?Jak wygląda proces onboardingu i dokumentacja istniejących pipeline'ów?
- ?Czy są plany migracji lub modernizacji istniejących pipeline'ów?
- ?Jaki budżet na szkolenia i rozwój?
- −Nie podano konkretnego dostawcy chmury
- −Brak informacji o wielkości zespołu i strukturze
- −Nie wiadomo, czy są dyżury on-call
- −Brak opisu procesu rekrutacyjnego (etapy, czas)
- −Nie określono długości projektu ani możliwości przedłużenia
Współpraca z zespołami backendowymi i infrastrukturalnymi; atmosfera zorientowana na utrzymanie stabilności i rozwiązywanie problemów.
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię SQL. Pełne statystyki zarobków →