Data Engineer (BigQuery / GCP) (m/f/d)
CommerzBank
Rola Data Engineera skupia się na rozwijaniu i optymalizacji zbiorów danych w BigQuery, budowaniu i utrzymaniu potoków ELT/ETL, modelowaniu danych dla analityki oraz zapewnieniu stabilności operacyjnej i bezpieczeństwa. Kandydat będzie współpracował z interesariuszami biznesowymi i IT, aby tłumaczyć wymagania na specyfikacje techniczne i wspierać działania związane z testowaniem i wdrażaniem.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: szczegółowy opis procesu rekrutacyjnego., informacje o wielkości zespołu..
Rola Data Engineera skupia się na rozwijaniu i optymalizacji zbiorów danych w BigQuery, budowaniu i utrzymaniu potoków ELT/ETL, modelowaniu danych dla analityki oraz zapewnieniu stabilności operacyjnej i bezpieczeństwa. Kandydat będzie współpracował z interesariuszami biznesowymi i IT, aby tłumaczyć wymagania na specyfikacje techniczne i wspierać działania związane z testowaniem i wdrażaniem.
- ✓Skills@Work - personal & professional development program
- ✓E-learning platform: O'Reilly, library, tutorials
- ✓Praca z BigQuery i GCP
- ✓Modelowanie danych dla analityki (dimensional and/or data vault concepts)
- ✓Zapewnienie stabilności operacyjnej i bezpieczeństwa
- !Nie jest jasno określone, jakie konkretnie narzędzia będą używane do budowania potoków ELT/ETL (poza wymienionymi jako przykłady).
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Rozwijanie i optymalizacja zbiorów danych, widoków i zapytań w BigQuery (partycjonowanie, klastrowanie, widoki materializowane).
- •Budowanie i utrzymanie potoków ELT/ETL do BigQuery (np. przez Cloud Storage, Pub/Sub, Dataflow, Dataproc lub źródła od dostawców), w tym monitorowanie i obsługa błędów.
- •Modelowanie danych dla analityki (koncepcje wymiarowe i/lub data vault) oraz definiowanie kontroli jakości danych, lineage i dokumentacji dla skonsolidowanych zbiorów danych.
- •Współpraca z interesariuszami biznesowymi i IT w celu tłumaczenia wymagań na specyfikacje techniczne, implementacji zmian oraz wsparcia działań testowych i wdrożeniowych.
- •Zapewnienie stabilności operacyjnej i bezpieczeństwa (IAM, konta usług, dostęp do zbiorów danych, audytowalność), rozwiązywanie incydentów i ciągłe doskonalenie niezawodności i automatyzacji.
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Osoba z wysoką wiedzą BigQuery/SQL i dobrą znajomością GCP Data Engineering, która potrafi budować i utrzymywać potoki danych oraz modelować dane dla analityki, z potencjałem do nauki Pythona i Git/CI/CD.
Nie dla osób bez wysokiej wiedzy BigQuery/SQL i doświadczenia w GCP Data Engineering, które nie potrafią budować potoków danych ani modelować danych dla analityki.
- ?Jakie są największe wyzwania związane z optymalizacją kosztów i wydajności w BigQuery?
- ?Jak wygląda proces tworzenia i wdrażania nowych potoków ELT/ETL?
- ?Jakie są oczekiwania dotyczące jakości danych i procesów ich walidacji?
- ?Jak wygląda współpraca z zespołem analitycznym i biznesowym w zakresie definiowania wymagań?
- ?Jakie są plany rozwoju w obszarze Data Engineering w Commerzbanku?
- ?Czy przewidziane są dyżury on-call i jak często?
- ?Jakie są możliwości rozwoju w obszarze chmury i nowych technologii danych?
- −Szczegółowy opis procesu rekrutacyjnego.
- −Informacje o wielkości zespołu.
- −Informacje o dyżurach on-call.
Praca w interdyscyplinarnych i międzynarodowych zespołach z wykorzystaniem metodyk agile.