Senior Data Engineer – Cloud Data Platforms and Streaming
ITDS
Rola polega na budowaniu skalowalnej, zgodnej z regulacjami infrastruktury danych dla platformy AI-powered investment research obsługującej fundusze hedgingowe. Będziesz projektować i implementować pipeline'y danych w chmurze Azure, korzystać z Databricks, Snowflake, PostgreSQL, a także budować architektury strumieniowe z Kafka i RabbitMQ. To stanowisko wymaga doświadczenia w data engineeringu na dużą skalę, znajomości narzędzi cloudowych i streamingowych oraz zrozumienia wymogów compliance SEC. Praca zdalna w ramach B2B.
Brakuje: wielkość zespołu i struktura organizacyjna, proces rekrutacyjny – etapy, czas oczekiwania.
Rola polega na budowaniu skalowalnej, zgodnej z regulacjami infrastruktury danych dla platformy AI-powered investment research obsługującej fundusze hedgingowe. Będziesz projektować i implementować pipeline'y danych w chmurze Azure, korzystać z Databricks, Snowflake, PostgreSQL, a także budować architektury strumieniowe z Kafka i RabbitMQ. To stanowisko wymaga doświadczenia w data engineeringu na dużą skalę, znajomości narzędzi cloudowych i streamingowych oraz zrozumienia wymogów compliance SEC. Praca zdalna w ramach B2B.
- ✓Nowoczesny stack: Databricks, Snowflake, Kafka, Kubernetes, Azure
- ✓Praca w innowacyjnym obszarze AI i finansów
- ✓Możliwość budowania skalowalnych rozwiązań od podstaw
- !Outsourcing – praca dla klienta zewnętrznego, co może wiązać się z mniejszą kontrolą nad kierunkiem rozwoju
- !Nie sprecyzowano wielkości zespołu ani liczby projektów
- !Brak informacji o procesie rekrutacyjnym i ewentualnym zadaniu domowym
- •Projektowanie i implementacja skalowalnych pipeline'ów danych na platformie cloud (Azure) z użyciem Databricks i Snowflake
- •Budowanie i utrzymanie architektur strumieniowych z RabbitMQ i Kafka
- •Rozwijanie rozwiązań danych w PostgreSQL przy optymalizacji wydajności
- •Orkiestracja workflow'ów narzędziami takimi jak Prefect
- •Zarządzanie wdrożeniami kontenerowymi na Kubernetes na Azure
- •Współpraca z zespołami w celu zapewnienia niezawodności, jakości i zgodności danych z wymogami SEC
- •Pisanie i optymalizacja zapytań SQL oraz skryptów Python do transformacji danych
- •Monitorowanie i rozwiązywanie problemów z wydajnością i niezawodnością systemów danych
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z około 4-5 latami doświadczenia, solidną znajomością SQL i Pythona, podstawową wiedzą o streamingowych pipeline'ach oraz chęcią rozwoju w kierunku Databricks/Snowflake i Azure/Kubernetes.
Juniorzy bez doświadczenia w data engineeringu na dużą skalę ani w streamingu. Osoby niechętne pracy w outsourcingu lub w środowisku finansowym z restrykcyjnymi wymogami compliance.
- ?Jaki jest konkretny klient i jak długi jest przewidywany czas trwania projektu?
- ?Ile osób liczy zespół data engineering i jakie są role w zespole?
- ?Jak wygląda proces onboardingu i wsparcie ze strony ITDS?
- ?Czy istnieje możliwość pracy na innych projektach po zakończeniu obecnego?
- ?Jakie są godziny pracy i czy wymagana jest elastyczność czasowa (np. dyżury)?
- ?Jak wygląda proces decyzyjny dotyczący architektury i wyboru narzędzi?
- ?Czy oferowane są dodatkowe benefity (np. budżet na szkolenia, sprzęt)?
- −Wielkość zespołu i struktura organizacyjna
- −Proces rekrutacyjny – etapy, czas oczekiwania
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Apache Kafka.