Data Engineer (DBX,dbt)
Webellian
Rola to klasyczny Data Engineer w modelu outsourcingowym, dedykowany do projektu dla klienta z branży ubezpieczeniowej. Głównym celem jest budowa i utrzymanie data pipeline'ów (ETL/ELT) na platformie Databricks, wspierających system oparty o LLM do analizy dokumentów i wspomagania decyzji. Będziesz odpowiadać za przygotowanie zestawów treningowych dla modeli ML, współpracując z data scientistami i biznesem. To rola na poziomie regular – wymagane jest solidne doświadczenie w data engineering, ale niekoniecznie senior level.
Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji.
Brakuje: nie podano liczby dni w biurze ponad minimalne 'co najmniej 1 dzień w tygodniu', brak informacji o procesie rekrutacyjnym (liczba etapów, zadanie domowe, live coding).
Rola to klasyczny Data Engineer w modelu outsourcingowym, dedykowany do projektu dla klienta z branży ubezpieczeniowej. Głównym celem jest budowa i utrzymanie data pipeline'ów (ETL/ELT) na platformie Databricks, wspierających system oparty o LLM do analizy dokumentów i wspomagania decyzji. Będziesz odpowiadać za przygotowanie zestawów treningowych dla modeli ML, współpracując z data scientistami i biznesem. To rola na poziomie regular – wymagane jest solidne doświadczenie w data engineering, ale niekoniecznie senior level.
- ✓Lekcje angielskiego w ramach benefitów
- ✓Praca w nowym, innowacyjnym projekcie z LLM
- ✓Międzynarodowy zespół i bezpośrednia współpraca z biznesem
- ✓Wysokie standardy jakości kodu i nowoczesne technologie
- !Brak informacji o konkretnym narzędziu do orkiestracji (np. Airflow, Prefect)
- !Nie podano liczby dni hybrydowych ponad minimalne 'co najmniej 1 dzień w tygodniu'
- !Opis procesu rekrutacyjnego nie został ujawniony
- !Mimo nowego projektu, może to być praca z legacy systemami klienta (nieokreślone)
- ?Brak jawnych widełek — wynagrodzenie do ustalenia podczas rekrutacji
- •Budowanie i utrzymanie end-to-end pipeline'ów danych (ingest, transformacja, storage) w Databricks
- •Przygotowywanie i czyszczenie wysokiej jakości zestawów danych treningowych dla modeli LLM
- •Pisanie i optymalizacja skryptów ETL/ELT w Pythonie i PySpark
- •Implementacja testów i automatyzacji w pipeline'ach (CI/CD z GitHub)
- •Współpraca z data scientistami przy definiowaniu wymagań dotyczących danych
- •Monitorowanie i poprawa wydajności, niezawodności i automatyzacji przepływów danych
- •Code review i stosowanie dobrych praktyk inżynierii danych (wersjonowanie, dokumentacja)
- •Bezpośrednia komunikacja z interesariuszami biznesowymi (anglojęzycznymi)
Oferta skierowana do developerów z doświadczeniem komercyjnym (Mid).
Minimalny profil to osoba z co najmniej 2 letnim doświadczeniem w data engineering, która zna Databricks i Pythona na poziomie średniozaawansowanym, potrafi pisać podstawowe pipeline'y ETL i komunikować się po angielsku. Może mieć luki w PySpark, ale musi mieć chęć szybkiego uzupełnienia wiedzy.
Osoba szukająca wyłącznie pracy zdalnej (wymagany jest 1 dzień w biurze) lub junior bez komercyjnego doświadczenia w data engineering nie znajdzie tu dopasowania. Również osoby preferujące wyłącznie backend w Javie/C# mogą nie być zainteresowane, gdyż kluczowy jest Python i PySpark.
- ?Jaki jest konkretny skład zespołu (ile Data Engineerów, Data Scientistów)?
- ?Czy pipeline'y budujemy od zera (greenfield) czy rozwijamy istniejące?
- ?Jakie narzędzie do orkiestracji jest używane (Airflow, Prefect, inny)?
- ?Czy przewidziane są dyżury on-call? Jeśli tak, jak często?
- ?Jaki jest przybliżony wolumen danych (TB/dzień) i skala systemu?
- ?Jak wygląda proces code review i deploymentu (GitHub Actions?)?
- ?Czy istnieje budżet na szkolenia lub konferencje?
- ?Jak wygląda współpraca z zespołem klienta – czy mamy dedykowanego PMa/BA?
- −Nie podano liczby dni w biurze ponad minimalne 'co najmniej 1 dzień w tygodniu'
- −Brak informacji o procesie rekrutacyjnym (liczba etapów, zadanie domowe, live coding)
- −Nie ujawniono zakresu wynagrodzenia
- −Nie wiadomo, czy zespół pracuje w ramach Scruma czy innej metodyki
Międzynarodowy, nastawiony na współpracę i dzielenie się wiedzą zespół, który ceni wysokie standardy i dobrą atmosferę (wspomniano o pinballu i PlayStation w biurze).