Architekt Systemowy Senior – Data Lake / DWH (F/M)
B2Bnetwork
Rola polega na projektowaniu i budowie skalowalnych pipeline'ów danych (ETL/ELT) w środowisku hybrydowym (on-prem + GCP) dla banku. Będziesz odpowiedzialny za architekturę Data Lake i DWH, w tym strojenie SQL, tworzenie datamartów oraz integrację z systemami bankowymi. Praca w modelu DevSecOps z wykorzystaniem Airflow, Kafki i Kubernetes. Dodatkowo wykorzystanie narzędzi GenAI do analizy Big Data.
Brakuje: nie podano wielkości zespołu, nie podano informacji o dyżurach on-call.
Rola polega na projektowaniu i budowie skalowalnych pipeline'ów danych (ETL/ELT) w środowisku hybrydowym (on-prem + GCP) dla banku. Będziesz odpowiedzialny za architekturę Data Lake i DWH, w tym strojenie SQL, tworzenie datamartów oraz integrację z systemami bankowymi. Praca w modelu DevSecOps z wykorzystaniem Airflow, Kafki i Kubernetes. Dodatkowo wykorzystanie narzędzi GenAI do analizy Big Data.
- ✓Praca z nowoczesnymi technologiami (GCP, Kubernetes, GenAI)
- ✓Możliwość wpływu na architekturę danych
- ✓Bankowość jako stabilna branża
- !Niejasny podział między architekturą a implementacją
- !Brak informacji o procesie rekrutacyjnym
- •Projektowanie architektury danych dla systemów Data Lake i DWH
- •Implementacja pipeline'ów ETL/ELT w Pythonie i/lub Ruscie
- •Praca z Apache Airflow do orkiestracji zadań
- •Strojenie zapytań SQL na Oracle i PostgreSQL
- •Integracja strumieni danych z Kafka
- •Wdrażanie rozwiązań na Kubernetes (GKE/OpenShift)
- •Tworzenie dokumentacji technicznej i koncepcji rozwiązań
- •Współpraca z zespołem DevSecOps
Oferta dla doświadczonych specjalistów (Senior).
Minimalnie osoba z co najmniej 3-4 latami doświadczenia w ETL/ELT, znajomością Airflow i jednego języka (Python/Rust), oraz podstawową znajomością Kafki i Kubernetes.
Nie dla osób bez doświadczenia w projektowaniu Data Lake/DWH lub bez znajomości narzędzi ETL na poziomie produkcyjnym. Rola jest dla seniora – juniorzy i midowie raczej nie spełnią wymagań.
- ?Ile osób liczy zespół danych?
- ?Czy praca wymaga dyżurów on-call?
- ?Jakie legacy systemy są obecne?
- ?Czy rola jest czysto architektoniczna czy również implementacyjna?
- ?Jaka jest struktura zespołu (data engineers, data scientists)?
- ?Jak wygląda proces rekrutacji?
- −Nie podano wielkości zespołu
- −Nie podano informacji o dyżurach on-call
- −Nie opisano procesu rekrutacyjnego
- −Brak informacji o skali systemów (wielkość danych, liczba użytkowników)
Na poziomie rynkowym
Dane z aktywnych ofert zawierających technologię Apache Spark.