Data Engineer
Pretius
Jako Senior Data Engineer dołączysz do projektu dla globalnej platformy z branży gier i loterii. Twoim zadaniem będzie projektowanie, budowanie i utrzymanie skalowalnych potoków danych (ETL/ELT) w Pythonie, optymalizacja zapytań SQL oraz implementacja hurtowni danych w chmurze (AWS, Azure, GCP). Będziesz pracować z Apache Spark, narzędziami orkiestracji (Airflow, Prefect, Dagster) i dbać o jakość, bezpieczeństwo i ład danych. To rola mocno techniczna, wymagająca 8+ lat doświadczenia i znajomości wielu platform chmurowych.
Brakuje: nie podano opisu procesu rekrutacyjnego (liczba etapów, zadanie domowe, live coding).
Jako Senior Data Engineer dołączysz do projektu dla globalnej platformy z branży gier i loterii. Twoim zadaniem będzie projektowanie, budowanie i utrzymanie skalowalnych potoków danych (ETL/ELT) w Pythonie, optymalizacja zapytań SQL oraz implementacja hurtowni danych w chmurze (AWS, Azure, GCP). Będziesz pracować z Apache Spark, narzędziami orkiestracji (Airflow, Prefect, Dagster) i dbać o jakość, bezpieczeństwo i ład danych. To rola mocno techniczna, wymagająca 8+ lat doświadczenia i znajomości wielu platform chmurowych.
- ✓Szkolenia, certyfikaty i konferencje
- ✓Długoterminowa współpraca oparta na fair zasadach
- !Brak informacji o wielkości zespołu i liczbie projektów jednocześnie
- !Stack obejmuje trzy główne chmury – może to oznaczać pracę na wielu platformach
- !Nie określono, czy istnieje możliwość pracy wyłącznie na jednej chmurze
- !Opis sugeruje outsourcing – może wpływać na stabilność długoterminową
- •Projektowanie i implementacja potoków ETL/ELT w Pythonie z użyciem Airflow lub podobnych narzędzi
- •Pisanie i optymalizacja zaawansowanych zapytań SQL na różnych bazach (PostgreSQL, BigQuery, Redshift)
- •Modelowanie danych w schemacie gwiazdy/płatka śniegu dla potrzeb analitycznych i raportowych
- •Przetwarzanie dużych zbiorów danych za pomocą Apache Spark (PySpark, Spark SQL)
- •Budowanie i utrzymanie rozwiązań chmurowych na AWS, Azure i/lub GCP (S3, Glue, EMR, Data Factory, BigQuery)
- •Implementacja mechanizmów jakości danych, walidacji, monitorowania i odtwarzania po awarii
- •Stosowanie praktyk DevOps: Git, CI/CD, Infrastructure as Code (Terraform), monitoring produkcji
- •Integracja zewnętrznych API i źródeł SaaS z platformą danych
Oferta dla doświadczonych specjalistów (Senior).
Data Engineer z co najmniej 8-letnim stażem, który ma solidne podstawy w Pythonie, SQL i jednej z głównych chmur, ale może wymagać wsparcia przy wielochmurowości lub Sparku. Osoba musi być gotowa na pracę w godzinach 12-20 CET.
Juniorzy i osoby z mniej niż 5-6 latami doświadczenia. Kandydaci szukający pracy wyłącznie stacjonarnej lub bez możliwości dopasowania do godzin CET. Osoby, które nie lubią pracować z wieloma chmurami i szerokim stackiem.
- ?Ile osób liczy zespół data engineering i jakie są role w projekcie?
- ?Czy główny stack chmurowy jest jeden, czy faktycznie pracujemy na AWS, Azure i GCP jednocześnie?
- ?Jaka jest skala danych (wielkość, częstotliwość, liczba potoków)?
- ?Czy streaming jest wymagany od razu, czy to opcjonalny nice-to-have?
- ?Jak wygląda proces on-call i monitorowania potoków?
- ?Czy istnieje możliwość wyboru narzędzi orkiestracji (Airflow vs Dagster vs Prefect)?
- ?Jaki jest przewidywany czas trwania projektu dla klienta?
- ?Czy w ramach benefitów jest budżet na szkolenia i konferencje?
- −Nie podano opisu procesu rekrutacyjnego (liczba etapów, zadanie domowe, live coding)
Firma stawia na długoterminowe relacje i fair zasady, oferuje dofinansowanie sportu i opieki zdrowotnej oraz wsparcie w rozwoju poprzez kursy i certyfikaty.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię PostreSQL.