Data Engineer
InsERT
Rola skupiona na budowaniu i utrzymywaniu pipeline'ów danych na platformie Microsoft Fabric. Będziesz przetwarzać duże zbiory danych za pomocą PySpark i Spark SQL, modelować dane w architekturze medalionu oraz używać Azure Data Factory do orkiestracji. Współpracujesz z analitykami danych i zespołami biznesowymi. Pracujesz w firmie produktowej (InsERT), która tworzy oprogramowanie ERP dla MŚP.
Brakuje: wielkość zespołu, źródła danych i ich skala.
Rola skupiona na budowaniu i utrzymywaniu pipeline'ów danych na platformie Microsoft Fabric. Będziesz przetwarzać duże zbiory danych za pomocą PySpark i Spark SQL, modelować dane w architekturze medalionu oraz używać Azure Data Factory do orkiestracji. Współpracujesz z analitykami danych i zespołami biznesowymi. Pracujesz w firmie produktowej (InsERT), która tworzy oprogramowanie ERP dla MŚP.
- ✓Wpływ na wybór narzędzi i technologii
- ✓Pokoje projektowe zamiast open-space
- ✓Luźna atmosfera, brak dress code'u
- ✓Kameralny zespół w firmie ~350 osób
- !Nie podano wielkości zespołu ani liczby projektów
- •Tworzenie i rozwijanie procesów ELT/ETL w Microsoft Fabric
- •Przetwarzanie i transformacja dużych zbiorów danych przy użyciu PySpark i Spark SQL
- •Modelowanie danych w architekturze medalionu (bronze, silver, gold)
- •Monitorowanie i optymalizacja wydajności oraz kosztów procesów przetwarzania danych
- •Refaktoryzacja istniejących rozwiązań danych
- •Współpraca z analitykami danych i zespołami biznesowymi w celu zrozumienia wymagań
- •Konfiguracja i zarządzanie potokami CI/CD w Azure DevOps
- •Utrzymywanie jakości danych i dokumentacja rozwiązań
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Mid-level Data Engineer z solidną znajomością PySpark i SQL, który miał styczność z Fabriciem i ADF, ale może nie posiadać jeszcze certyfikatów. Potrafi samodzielnie budować proste pipeliny i modelować dane.
Juniorzy bez doświadczenia w data engineering i Azure. Osoby szukające wyłącznie pracy zdalnej (oferta deklaruje pracę stacjonarną, choć wspomniano możliwość hybrydy).
- ?Ile osób liczy zespół Data Engineering?
- ?Jakie są główne źródła danych i czy są to legacy systemy?
- ?Czy są plany migracji istniejących rozwiązań do Fabric, czy to greenfield?
- ?Jak wygląda dyżurowanie / on-call?
- ?Jaki jest budżet na szkolenia i certyfikaty?
- −Wielkość zespołu
- −Źródła danych i ich skala
- −Proces on-call (jeśli istnieje)
- −Budżet szkoleniowy
Niewielki zespół w nieformalnej atmosferze, z wpływem na wybór technologii i produkt. Brak open-space, kameralne biuro.
Rozmowa telefoniczna -> Spotkanie w biurze -> Decyzja. Brak informacji o zadaniu domowym czy live codingu.
Poniżej mediany rynkowej
Dane z aktywnych ofert zawierających technologię Microsoft Fabric.