Data Engineer Scala/Spark
DAC.digital
Rola Data Engineera skupia się na projektowaniu, rozwijaniu i utrzymywaniu skalowalnych rozwiązań do przetwarzania danych w chmurze Google Cloud Platform (GCP). Kluczowe jest doświadczenie w pracy ze Scalą i Apache Spark, budowaniu potoków ETL oraz optymalizacji zapytań SQL. Kandydat będzie pracował w metodyce Agile, wykorzystując narzędzia takie jak Databricks, Airflow i Jira.
Brakuje: brak informacji o konkretnych narzędziach do monitorowania potoków danych., brak informacji o konkretnych narzędziach do zarządzania konfiguracją..
Rola Data Engineera skupia się na projektowaniu, rozwijaniu i utrzymywaniu skalowalnych rozwiązań do przetwarzania danych w chmurze Google Cloud Platform (GCP). Kluczowe jest doświadczenie w pracy ze Scalą i Apache Spark, budowaniu potoków ETL oraz optymalizacji zapytań SQL. Kandydat będzie pracował w metodyce Agile, wykorzystując narzędzia takie jak Databricks, Airflow i Jira.
- ✓Możliwość pracy w 100% zdalnie lub stacjonarnie w biurze w Gdańsku.
- ✓Kontrakt B2B z uwzględnionymi 30 dniami wolnymi.
- ✓Real Agile practices.
- ✓Employee well-being online platform.
- ✓Cafeteria benefits.
- !Wspomniane jest 'analiza obecnego systemu i przepływów' w kontekście Informatica, co może sugerować pracę z legacy systemami, choć nie jest to główny obszar odpowiedzialności.
- •Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w Scala i Apache Spark.
- •Budowanie i optymalizacja potoków ETL w środowiskach chmurowych na Google Cloud Platform (GCP).
- •Rozwijanie i utrzymywanie rozwiązań Data Engineeringowych z wykorzystaniem Databricks i Zeppelin Notebooks.
- •Pisanie, optymalizacja i rozwiązywanie problemów ze złożonymi zapytaniami SQL.
- •Orkiestracja, planowanie i monitorowanie przepływów danych przy użyciu Apache Airflow.
- •Zapewnianie jakości, niezawodności i wydajności danych.
- •Współpraca z zespołami w celu zbierania wymagań i dostarczania rozwiązań opartych na danych.
- •Uczestnictwo w przeglądach kodu, testowaniu i ciągłym doskonaleniu najlepszych praktyk Data Engineering.
Oferta dla doświadczonych specjalistów (Senior).
Kandydat z dobrym doświadczeniem w Scala i Apache Spark, praktyczną znajomością GCP, SQL i narzędzi do budowania potoków danych, który potrafi pracować w metodykach zwinnych i zna język angielski na poziomie komunikatywnym.
Nie dla osób bez doświadczenia w Scala i Apache Spark, bez znajomości chmury GCP, SQL lub narzędzi do budowania potoków danych. Rola nie jest również dla osób, które nie pracują w metodykach zwinnych lub nie znają języka angielskiego.
- ?Jakie są główne wyzwania związane z przetwarzaniem danych w tym projekcie?
- ?Jak wygląda proces zarządzania jakością danych?
- ?Jakie są plany rozwoju infrastruktury danych w najbliższym czasie?
- ?Jak często występują sytuacje wymagające pracy poza standardowymi godzinami (on-call)?
- ?Jak wygląda proces code review i testowania w zespole?
- −Brak informacji o konkretnych narzędziach do monitorowania potoków danych.
- −Brak informacji o konkretnych narzędziach do zarządzania konfiguracją.
- −Brak informacji o wielkości zespołu Data Engineering.
- −Brak informacji o konkretnych projektach, nad którymi będzie pracował kandydat.
- −Brak informacji o tym, jak często występują sytuacje wymagające pracy poza standardowymi godzinami (on-call).
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Spark. Pełne statystyki zarobków →