Data engineer
ITFS
Rola Data Engineera polega na budowaniu rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych. Kandydat będzie projektował i realizował rozwiązania informatyczne, analizował dane, stroił zapytania SQL, tworzył przepływy danych w narzędziach on-prem i GCP, a także rozwijał rozwiązania w Pythonie i Rust. Praca wymaga znajomości technologii Big Data, chmury GCP oraz narzędzi takich jak Kafka i Airflow.
Brakuje: szczegółowy opis architektury data lake i dwh., informacja o konkretnych narzędziach używanych do tworzenia przepływów on-line i off-line..
Rola Data Engineera polega na budowaniu rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych. Kandydat będzie projektował i realizował rozwiązania informatyczne, analizował dane, stroił zapytania SQL, tworzył przepływy danych w narzędziach on-prem i GCP, a także rozwijał rozwiązania w Pythonie i Rust. Praca wymaga znajomości technologii Big Data, chmury GCP oraz narzędzi takich jak Kafka i Airflow.
- ✓Praca hybrydowa (1 dzień w tygodniu z biura w Warszawie) daje pewną elastyczność.
- ✓Krótki 14-dniowy termin płatności faktury.
- !Praca hybrydowa z jednym dniem w biurze w tygodniu może być mniej elastyczna niż w pełni zdalna.
- !Wzmianka o 'GenAI' w kontekście BigData jest ogólna i nie precyzuje, w jaki sposób będzie wykorzystywana.
- •Budowanie rozwiązań Data Lake i DWH
- •Tworzenie procesów zasilania danych (on-line i off-line)
- •Projektowanie i realizacja rozwiązań informatycznych w obszarze zasilania danych
- •Analizowanie danych i przygotowywanie modeli logicznych i fizycznych
- •Strojenie zapytań SQL na bazach relacyjnych i hurtownianych (on-prem i GCP)
- •Tworzenie przepływów off-line i on-line w narzędziach on-prem i GCP
- •Tworzenie rozwiązań do ładowania danych w Pythonie i Rust dla danych strukturalnych i niestrukturalnych
- •Przygotowywanie datamartów tematycznych
Oferta dla doświadczonych specjalistów (Senior).
Kandydat z doświadczeniem w budowaniu pipeline'ów ETL/ELT, znajomością baz danych (PostgreSQL/Oracle) i przynajmniej jednego języka programowania (Python/Rust). Kluczowa jest znajomość koncepcji Data Lake/DWH i narzędzi takich jak Airflow.
Rola nie jest dla osób bez doświadczenia w budowaniu rozwiązań Data Lake/DWH i procesów ETL/ELT. Nie jest też dla osób, które nie mają doświadczenia z bazami danych relacyjnymi i językami programowania.
- ?Jakie są główne wyzwania związane z budowaniem rozwiązań Data Lake i DWH w tym projekcie?
- ?Jak wygląda proces analizy danych i przygotowywania modeli logicznych i fizycznych?
- ?Jakie są oczekiwania dotyczące strojenia zapytań SQL i optymalizacji baz danych?
- ?Czy istnieją plany wykorzystania GenAI w przyszłości i w jakim zakresie?
- ?Jak wygląda proces rozwiązywania incydentów i problemów w zasilaniu danych?
- −Szczegółowy opis architektury Data Lake i DWH.
- −Informacja o konkretnych narzędziach używanych do tworzenia przepływów on-line i off-line.
- −Dokładny zakres odpowiedzialności za rozwój rozwiązań w Pythonie i Rust.
Rozmowa telefoniczna z ITFS (ok. 20 min.) → rozmowa techniczna z Klientem → podjęcie decyzj
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Python. Pełne statystyki zarobków →