Data Engineer – AI/GenAI Platforms (AWS, Databricks)
Harvey Nash Technology
Rola Data Engineera skupiona na budowaniu i utrzymaniu skalowalnych potoków danych na platformie Databricks i AWS. Kluczowe jest wsparcie zespołów AI/ML w tworzeniu rozwiązań opartych o AI i GenAI, projektowanie architektur danych oraz optymalizacja wydajności i kosztów. Wymagane jest doświadczenie w pracy z dużymi zbiorami danych, zarządzanie ich jakością i bezpieczeństwem.
Brakuje: szczegóły dotyczące konkretnych projektów ai/genai., informacje o procesie onboardingu nowych źródeł danych..
Rola Data Engineera skupiona na budowaniu i utrzymaniu skalowalnych potoków danych na platformie Databricks i AWS. Kluczowe jest wsparcie zespołów AI/ML w tworzeniu rozwiązań opartych o AI i GenAI, projektowanie architektur danych oraz optymalizacja wydajności i kosztów. Wymagane jest doświadczenie w pracy z dużymi zbiorami danych, zarządzanie ich jakością i bezpieczeństwem.
- ✓Praca przy zaawansowanych rozwiązaniach AI/GenAI
- ✓Możliwość pracy z nowoczesnymi technologiami jak Databricks i AWS
- •Budowanie i utrzymywanie skalowalnych potoków danych na Databricks (Delta Lake) i AWS
- •Przetwarzanie i integracja dużych, strukturalnych i niestrukturalnych zbiorów danych z wielu źródeł
- •Współpraca z zespołami AI/ML w celu wspierania rozwiązań opartych o AI i GenAI
- •Projektowanie wydajnych architektur danych, modeli i potoków
- •Optymalizacja wydajności i kosztów przy użyciu Spark, Delta Lake i najlepszych praktyk AWS
- •Zapewnienie ładu danych, bezpieczeństwa i jakości (pochodzenie danych, PII/PCI, monitorowanie)
- •Onboarding nowych źródeł danych i przyczynianie się do nowoczesnych narzędzi danych i GenAI
Oferta dla doświadczonych specjalistów (Senior).
Kandydat z co najmniej 3-letnim doświadczeniem w data engineering, posiadający mocne umiejętności w Pythonie i Sparku, oraz praktyczną znajomość AWS i Databricks. Powinien posiadać podstawową wiedzę z zakresu architektur danych.
Oferta nie jest dla osób bez doświadczenia w data engineering, szczególnie bez znajomości Pythona i Sparka. Kandydaci bez doświadczenia z AWS i Databricks również nie będą pasować.
- ?Jakie konkretne projekty AI/GenAI będą realizowane?
- ?Jak wygląda proces onboardingu nowych źródeł danych?
- ?Jakie są główne wyzwania związane z jakością i bezpieczeństwem danych w obecnych projektach?
- ?Czy istnieje możliwość wpływu na wybór narzędzi i technologii w ramach platformy danych?
- ?Jakie są typowe rozmiary zespołów pracujących nad potokami danych?
- −Szczegóły dotyczące konkretnych projektów AI/GenAI.
- −Informacje o procesie onboardingu nowych źródeł danych.
- −Szczegóły dotyczące zarządzania jakością i bezpieczeństwem danych.
- −Informacje o możliwości wpływu na wybór narzędzi i technologii.
Powyżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię AWS. Pełne statystyki zarobków →